复杂几何上的物理信息神经网络常被描述成“把PDE残差、边界条件和数据误差相加后训练”。真正进入二维、三维和区域分解后，这个“相加”会成为主要故障源：不同损失项对同一组参数提出相反更新方向，一个子域在降低方程残差时，可能同时破坏界面连续性；面积很大的子域或量纲较大的残差又可能长期压过小界面。arXiv:2609.14841将区域分解与投影式梯度手术结合，评估PCGrad和ConFIG，并提出归一化变体Norm-PCGrad，用于缓解二维、三维区域分解中的冲突。论文还指出，PCGrad和ConFIG在三维、多重重叠界面等特定场景会退化，而Norm-PCGrad在其基准中取得最低相对L2误差，额外计算开销可忽略。
梯度冲突究竟是什么
设总损失由多个任务组成：域内PDE残差、Dirichlet边界、Neumann边界、初始条件、观测数据，以及子域接口上的解连续、通量连续或残差匹配。第i项对参数的梯度记为g_i。若两个梯度内积g_i·g_j小于零，说明沿其中一个方向下降会在一阶近似下抬高另一个目标。这就是冲突。
复杂几何会放大冲突。边界曲率、尖角、窄通道和材料界面使解的局部尺度不同；区域分解又让多个网络在接口上耦合。不同采样点数量、测度和方程单位造成梯度范数相差多个数量级。此时即便两个梯度方向没有严重冲突，大范数任务也能“淹没”小范数任务。仅调损失权重可能暂时缓和，却需要大量人工搜索，并随训练阶段变化。
PCGrad的基本思想是：当任务梯度冲突时，将一个梯度在另一个梯度方向上的冲突分量投影掉，再汇总用于参数更新。形式上，对冲突的g_i与g_j，可使用g_i←g_i−(g_i·g_j/||g_j||²)g_j。它比固定权重更直接地处理方向问题。但在多任务、多界面和范数高度不平衡时，处理顺序、尺度和连续多次投影会影响最终方向。
Norm-PCGrad的关键直觉是先把“方向冲突”与“大小支配”拆开：对参与比较的任务梯度做范数归一化，再执行冲突投影与组合，使大梯度不能仅凭尺度决定投影几何。实现细节应以论文和作者代码为准，但工程上可把它理解为一层优化器前处理：正常前向计算各损失，分别求梯度，经Norm-PCGrad生成冲突更少的合成梯度，再交给Adam或其他基础优化器更新。
放在XPINN流程的哪个位置
对于区域Ω被拆成K个子域的XPINN式系统，每个子域可以有独立网络，也可以共享部分参数。损失应按物理职责分组，而不是把所有采样点粗暴混成两项。一个实用分组是：每个子域的PDE任务；外边界任务；每一类接口条件；少量监督数据。若任务拆得过细，每个采样批次都成为独立任务，梯度计算和噪声会急剧增加；若拆得过粗，互相抵消的界面条件被提前求和，梯度手术看不到冲突。合适粒度通常对应可以单独验收的物理约束。
训练一步包括：在各子域和界面重新或自适应采样；前向计算场变量；通过自动微分构造PDE与边界残差；分别对任务损失反向求梯度；记录范数、余弦相似度和冲突率；调用Norm-PCGrad；应用合成梯度；更新采样分布与学习率。共享参数使用冲突处理，完全独立的子域参数则只受本地任务影响。接口涉及两侧网络，必须确保梯度同时回传到两侧，否则会形成单边迁就。
论文还提出在选定子域以SPINN等可分离架构替代普通PINN，使计算成本从关于离散维度的二次或三次增长降为线性增长。这里不应机械地把每个子域都换成SPINN：几何可分性、坐标映射质量和局部解结构决定收益。可在规则块体、张量积采样友好的子域使用可分离网络，在尖角、孔洞周围保留更灵活的普通PINN或PIKAN。
一个面向复杂几何的工程设计
几何层负责CAD清理、符号距离或点内判定、子域划分、法向量和接口邻接图。采样层分别管理体点、外边界点、接口点与高残差加密点，并保存局部到全局坐标映射。物理层以无量纲形式实现控制方程和本构，避免仅因单位不同制造虚假的范数差异。模型层为每个子域选择网络结构。优化层实现任务梯度采集、归一化投影、混合精度限制和梯度裁剪。诊断层则记录每对任务的余弦相似度矩阵、梯度范数、各项损失、守恒误差和独立参考误差。
必须警惕自动微分的内存成本。逐任务调用反向传播会保留计算图，三维高阶PDE尤其昂贵。可采用任务分块、参数向量化、只对共享参数做手术、梯度检查点和混合精度，但二阶导数在低精度下容易失真。所谓“额外计算开销可忽略”是论文基准中的结论，迁移到自有大模型、复杂本构和大量任务时仍应实测GPU峰值内存与每步时间。
实验不能只比较最终L2误差
建议构造四级验证。一级是有解析解的二维Poisson或Helmholtz问题，验证实现没有破坏自动微分。二级是带孔洞、尖角或非凸边界的问题，检查边界与高梯度区域。三级是三维多子域、多个重叠接口，复现最容易发生冲突的情形。四级才是企业目标问题，例如热—力耦合部件或复杂流道。
每一级至少比较：不做梯度手术、人工加权、PCGrad、ConFIG、Norm-PCGrad。固定网络容量、采样预算、优化器、随机种子和停止条件。指标包括全域与分区相对L2误差、L∞误差、PDE残差、边界误差、接口解跳跃、通量跳跃、守恒误差、训练时间和显存；多次运行报告中位数与波动，而非挑选最佳种子。
更关键的是过程指标：任务梯度范数分布、负余弦比例、投影修改幅度、不同训练阶段的冲突热图。如果误差下降但接口守恒变差，就不能称为成功。还应做尺度消融：改变方程无量纲方式、子域大小、接口点密度和任务分组，确认收益不是某套权重偶然造成。
参考解可来自收敛的有限元、有限体积或谱方法。验证点应独立于训练点，并在尖角、边界层、材料界面等区域加密。若目标是工程响应，还要比较积分量，如总热流、反力、阻力或能量，而不只是点值场。
适用边界与失败模式
Norm-PCGrad适合多个可解释损失共享参数、冲突频繁且范数不平衡的场景，特别是区域分解PINN/PIKAN。若主要问题是采样遗漏、几何法向错误、PDE实现错误或解本身不光滑，梯度手术不能补救。若所有任务梯度基本同向，也不会带来明显收益。任务过多时，两两处理成本和顺序效应仍需关注；任务梯度接近零时，归一化必须设置稳定的epsilon，避免放大数值噪声。
它也不能替代无量纲化和物理建模。把不同单位造成的梯度差全部交给归一化，会掩盖模型定义问题。对于存在严格变分原理的固体力学问题，Deep Energy Method可能通过降低导数阶数、减少强形式残差项，从源头减少一部分多目标冲突；但自然边界、非保守系统和多物理约束仍需单独设计。
企业落地路线与行动建议
第一步不是改生产求解器，而是在一个已有高可信数值解的复杂零件上建立可重复基准。第二步把现有PINN损失按物理职责重构，加入梯度余弦和接口守恒监控。第三步在相同预算下接入PCGrad、ConFIG和Norm-PCGrad，完成多种子对照。第四步才引入混合子域架构，将规则子域替换为SPINN，并评估真实墙钟收益。第五步建立回归测试：几何、方程、采样器或框架升级后，自动检查接口跳跃和关键响应量。
近期可执行的清单是：统一无量纲方案；画出子域邻接图；限定5到20个有物理意义的任务组；实现稳定归一化与零范数保护；保存冲突矩阵；用双精度小算例做梯度核验；把“误差、守恒、时间、显存”设为四项共同验收门槛。Norm-PCGrad不是让PINN永不失败的优化技巧，而是一种把多物理、多区域训练矛盾显式化并可测量处理的方法。
域分解与接口条件的具体实现
子域划分不能只追求几何均匀。更有效的原则是让材料突变、系数不连续、边界层和强源项尽量落在接口或独立子域内，同时避免一个子域同时包含多个极端尺度。对子域Ω_k，可定义域内残差损失L_r^k；对相邻子域Ω_i与Ω_j的接口Γ_ij，至少定义解连续损失L_u、法向通量连续损失L_q。椭圆型扩散问题的通量可写为n·κ∇u，两侧法向方向相反，实现时必须统一方向约定，否则两个网络会被训练成错误的同号通量。
接口可以采用非重叠或重叠设计。非重叠分解采样量较小，但完全依赖边界上的连续和通量条件传递信息；重叠分解可在交叠区域加入场值、梯度或残差一致性，通常更稳健，却会增加任务数量并可能重复约束。重叠宽度不能随意设定：过窄时接近单一界面，过宽时多个网络在大区域内竞争。可按局部特征长度、网格参考尺度或边界层厚度设置，并通过接口误差消融确定。
每个子域使用独立网络时，参数集合较清楚，Norm-PCGrad主要处理接口两侧共享影响；共享主干加子域输出头时，所有物理任务都会作用于主干，冲突更集中，需分别采集主干与输出头梯度。推荐仅对真正共享的参数执行投影，本地头直接累积相关任务梯度。这样既减少额外反向传播和向量运算，也避免不相关参数上的零梯度干扰归一化。
接口点最好成对生成：先在几何接口上取全局坐标，再分别映射到两侧子域网络，使用同一个物理点计算跳跃。若两侧独立随机采样，所谓连续性损失会混入空间插值误差。曲面接口还需稳定计算单位法向；尖角处法向不唯一，应将角点单独处理、剔除极小邻域，或改用积分形式的通量守恒约束。
梯度投影与数值稳定性
一个可靠实现应先对每个任务单独求导，并将缺失梯度显式视为零向量。设归一化梯度为ĝ_i=g_i/(||g_i||+ε)，仅当ĝ_i·ĝ_j小于负容差时执行投影，可避免浮点噪声导致频繁的小幅修改。ε应结合参数精度和典型梯度范数设置，不能固定使用在所有模型上都相同的极小值。梯度范数低于阈值的任务可暂不参与方向投影，但仍需监控它是否因网络饱和而长期失活。
PCGrad逐对投影存在顺序依赖。训练时可对任务顺序随机打乱并固定随机种子以便复现；验证时报告多个顺序或多个种子的波动。若任务数为T，两两冲突检测大致需要T平方级的内积运算。任务很多时，可先按物理职责分层：域内任务在各子域内处理，接口任务按邻接边分组，最后再组合组级梯度。不能为了降低开销把所有边界条件提前相加，因为Dirichlet与Neumann条件可能恰好存在值得诊断的冲突。
投影后的合成梯度还需检查尺度。如果只汇总单位方向，可能丢失训练后期所需的收敛幅度；如果直接恢复原范数，又可能重新引入大任务支配。具体采用平均范数、任务权重恢复或论文给定的Norm-PCGrad组合规则，应保持与基准实现一致。工程上必须记录合成梯度与原始加权和的夹角、范数比以及每项被投影次数，一旦合成梯度接近零，就要判断是否存在多任务互相抵消或约束定义矛盾。
自动微分框架中，最直接的多次反向传播需要保留计算图。可通过一次前向后对各损失调用向量雅可比积，或使用函数式参数接口批量计算任务梯度。更新前要清空基础优化器已有梯度，再把处理后的张量按参数形状写回。分布式多GPU训练时，应先完成任务级梯度构造，再决定跨卡归约顺序，避免框架默认归约把不同任务提前混合。
损失平衡不等于梯度手术
Norm-PCGrad处理方向与范数支配，但采样数量、物理量量纲和残差定义仍决定每个任务代表什么。第一层平衡是无量纲化：选择特征长度、时间、速度、温度或应力尺度，使控制方程各项在目标工况内量级可比。第二层是测度归一化：体积分、面积分和线积分应按各自区域测度估计，不能让采样点数量直接充当物理权重。第三层才是训练中的任务权重与梯度处理。
可保留少量有物理意义的基础权重，例如对安全关键边界设置最低权重，但不建议同时使用激进的动态权重和强梯度投影而不做消融，因为两套机制可能相互追逐。若采用基于残差、梯度范数或不确定性的自适应权重，更新频率应慢于每个优化步，并设置上下界。否则某任务短时残差增大就获得过高权重，下一步又被投影，形成振荡。
采样平衡同样重要。高残差区域自适应加点能改善局部精度，但会改变任务梯度分布；每次更新采样后应重新观察冲突矩阵。接口点、外边界点与域内点的预算应独立控制。对于细小孔洞或短边界，即使其几何测度小，也可能决定峰值响应，不能仅按面积比例少量采样。可以设置物理重要性下限，再用积分权重校正估计偏差。
训练调度可分阶段进行：先用较强边界和接口约束获得可行场，再逐步提高域内PDE残差；或先对子域预训练，再联合优化。阶段切换时优化器动量和任务尺度会突变，应降低学习率或重置部分状态，并将切换前后指标分开记录。Norm-PCGrad应在联合阶段启用，预训练阶段任务较少时可作为对照。
二维与三维验证方案
二维验证应从可制造的几何困难开始，而不是只做矩形。可选择带圆孔或多孔的Poisson问题检验曲边界，L形域检验重入角奇异性，分段导热系数问题检验材料接口。解析解存在时直接计算全域误差；不存在时使用经网格收敛验证的有限元解。验证点应包含均匀内部点、边界弧长均匀点、接口点和奇异区域局部加密点，分别报告误差，防止大面积平滑区域掩盖局部失败。
二维消融至少改变子域数量、接口方向、重叠宽度、任务分组和采样密度。还要比较几何一致但不同划分方式，例如让材料界面与子域接口重合或穿过子域内部，以检验方法收益究竟来自梯度处理还是更合适的分区。每种设置应采用相同总参数量和总采样预算，否则更多网络本身就可能带来优势。
三维验证可从立方体内的Poisson或稳态热传导开始，随后加入球形孔洞、弯曲流道或多材料接触面。三维曲面法向、表面积采样和接口邻接更容易出错，应先做制造解检验：预设光滑场u，反推出源项和边界条件，确认PDE、法向导数与坐标变换实现一致。再使用复杂参考算例比较体场相对L2、边界最大误差、接口通量积分差和关键截面分布。
三维实验必须同时报告计算资源。记录每步墙钟时间、每个任务反向时间、峰值显存、采样点吞吐和达到目标误差所需时间。所谓投影开销小，可能只是被高阶自动微分成本掩盖；如果任务数和接口数增加，梯度存储会成为瓶颈。可比较全参数投影、仅共享层投影和组级投影，确定精度与资源折中。
对于随机性，二维可使用较多随机种子估计稳定性，三维至少保证若干独立初始化并报告失败率。停止条件不能只看总损失，应要求域内、边界、接口和工程响应量同时达到阈值。若某方法偶尔得到极佳结果但频繁发散，生产价值通常低于略低精度但稳定的方案。
工程PDE的适用边界
对稳态导热、线弹性、扩散和低雷诺数流动，强形式PINN较容易定义，但仍需满足解的正则性。含尖角应力奇异、裂纹、不连续材料系数、接触和冲击时，经典导数可能不存在或数值极不稳定，可采用弱形式、能量形式、局部加密或专门的界面条件。Norm-PCGrad只能处理已定义任务的优化冲突，不能让错误的光滑网络表示真正的不连续解。
不可压Navier–Stokes问题需要同时处理动量方程、连续性和速度压力边界。压力缺少唯一常数时必须设置参考压力或零均值约束；流出边界若物理设置不当，会被优化器表现成持续梯度冲突。高雷诺数下边界层和涡结构要求更密集采样或适合的网络表示，不能仅依靠梯度投影跨越频谱偏置。
固体力学中，位移形式要正确实现应变、本构和应力散度，材料界面要求位移与牵引连续。近不可压材料会出现体积锁定类似困难，可考虑混合位移—压力形式，但任务数和约束耦合随之增加。塑性、损伤和路径相关材料还需要历史变量与增量加载，单次静态网络并不足以描述状态演化。
瞬态问题除空间子域外还有时间边界。若按时间窗分解，接口既要满足状态连续，也可能需要通量或时间导数一致；长时间积分中的误差传播会使后期窗口被早期误差污染。可采用顺序时间窗训练、因果加权和检查点状态传递，再在窗口接口使用冲突处理。对刚性反应扩散、多尺度波动等问题，基础网络频谱能力和时间采样往往比优化器选择更关键。
工程验收还必须尊重守恒和安全裕度。热流、质量流量、总力、能量耗散等积分量要与边界输入闭合；关键位置峰值应给出误差上界或与高可信求解器的保守偏差。PINN及其梯度手术方法更适合作为快速近似、参数反演或传统求解器的补充，在未完成广泛验证前，不应独立承担认证级结构强度或安全关键流动判定。
参考资料
- Tackling Failure Modes of PINNs and PIKANs Using Conflict-Free Gradients：https://arxiv.org/abs/2609.14841
- Federated Learning for Distributed CNC Tool Wear Prediction：https://arxiv.org/abs/2608.11281
- Deep Energy Method with Large Language Model assistance：https://arxiv.org/abs/2602.07838
- Gradient Surgery for Multi-Task Learning（PCGrad）：https://arxiv.org/abs/2001.06782
- Extended Physics-Informed Neural Networks（XPINN）：https://arxiv.org/abs/2004.04561