题目：从非线性动力学角度理解深度学习

报告人：赵鸿

邀请人：林海青

时间：2025年3月7日（周五）15:30

地点：紫金港校区海纳苑8幢215报告厅

摘要：

机器学习过程是动力学演化过程，因此动力学理论对其机理的理解提供了重要的角度。本报告将首先阐述我们对机器学习的一些基本概念的理解，简单介绍我们所提出的动力学系统状态预测和系统预测理论和方法及其应用。本报告的重点将介绍我们基于非线性动力学对深度学习机理的认识，引入两种基本学习模式，重新定义学习模型的线性与非线性，定量刻画各层的非线性度；定义输入矢量空间和权值矢量空间吸引域，刻画网络的推广能力和结构稳定性。基于这些概念，将揭示学习过程中学习动力学的突变及其所导致的“顿悟”与双下降等现象，揭示深度网络优越于浅层网络的动力学根源，揭示regularization、batch size、learning rate、dropout等常用策略起作用的机制。最后我们将讨论flat minima hypothesis与权值空间吸引域的联系。

个人简介：

赵鸿，厦门大学物理科学与技术学院教授、国家杰出青年科学基金获得者。主要研究领域为统计物理、输运理论、非线性动力学以及机器学习等，在经典晶格热化，低维晶格热输运，布朗运动，非对称霍普菲尔德模型，机器学习预测等理论研究方面取得了一定的成绩。