
力学所与清华大学提出物理结构嵌入神经网络(Ψ-NN)
近期,力学所与清华大学联合研究团队在国际顶级期刊《自然·通讯》(Nature Communications)上发表了题为“Automatic network structure discovery of physics informed neural networks via knowledge distillation”的研究成果。该研究提出了一种全新的物理信息嵌入方法——物理结构嵌入神经网络(Physics Structure Informed Neural Networks, Ψ-NN),通过知识蒸馏机制实现了物理信息神经网络(PINN)结构的自动识别与重构,显著提升了模型在复杂系统建模中的精度、效率与可解释性。
复杂系统的演化可由高维、非线性和多尺度的偏微分方程(PDE)所描述,这些方程广泛存在于地球科学、材料科学、流体动力学和生物系统等多个领域。近年来,PINN通过将物理定律嵌入损失函数,实现了数据驱动与物理先验的融合,在PDE求解与反问题中展现出潜力。然而,传统PINN主要通过损失函数实施物理约束,很大程度上忽略了底层物理系统的显式结构特征,导致模型可解释性弱、泛化能力有限。
研究团队发现,特定的物理性质(如流动的对称性、守恒性)可等效映射到神经网络的权重结构中,例如,通过群等变理论可证明,流动的对称性在神经网络中对应于具有对称参数约束或权重共享的结构形式,二者在数学意义上具有一致性。为此,研究团队提出了Ψ-NN框架,将知识蒸馏思想引入物理信息学习,构建“教师-学生”双网络协同优化机制自动提取具有物理意义的神经网络权重结构特征。该框架包含三个核心阶段:(1)物理信息蒸馏:教师网络采用标准PINN学习物理场,学生网络在其输出监督下训练,实现物理知识的高效迁移;(2)通过L2正则化与聚类分析,自动识别学生网络中具有物理意义的网络权重聚类结构,揭示权重共享、对称性等内在组织规律;(3)结构化网络重构:将提取的聚类结构重构为具备明确物理性质的神经网络,实现参数压缩、结构固化与可解释性增强。
研究在多个典型PDE案例中进行了验证。结果表明,Ψ-NN在相同训练步数下,收敛速度较传统PINN提升约50%,最终L2误差降低达95%。在反问题中,Ψ-NN对未知参数的估计更接近真实值,展现出更强的搜索效率。此外,Ψ-NN展现出优异的结构迁移能力:在某一参数条件下发现的最优网络结构,可成功推广至其他参数工况,大幅减少重复训练成本,为多工况建模提供了高效解决方案。
Ψ-NN可以被看做一种更具解释性与约束力的“结构化硬约束”,为理解神经网络内部的物理表征机制、构建高效可信赖的物理驱动AI模型提供了新的思路。
本研究由中国科学院大学博士生刘子提与力学所博士后刘洋为共同第一作者,力学所张陈安研究员与清华大学闫循石副研究员为共同通讯作者。研究工作得到了中国科学院稳定支持基础研究领域青年团队计划(YSBR-107)、中国科学院战略性先导科技专项B类(XDB0620402)以及中国科学院青年创新促进会(2023023)等项目资助。
论文链接:
https://www.nature.com/articles/s41467-025-64624-3

图1:Ψ-NN“知识蒸馏—结构提取—网络重构”流程图

图2:Ψ-NN从特定物理问题中发现的神经网络权重结构

图3:物理结构嵌入神经网络
附件下载: