Speaker: 李佳艺，马克斯·普朗克研究所

Inviter: 王杰

Title: 神经网络的结构、对称性与奇点

Language: Chinese

Time & Venue: 2026.08.11 15:00-16:00 N213

Abstract: 现代神经网络是高度结构化的层级模型，其参数化映射常常带有内在的对称性与退化性。神经网络在实践中的巨大成功，推动了大量数学工具的发展，以期为理解其行为奠定理论基础。本次报告将介绍神经网络理论研究中的代数几何方法，重点讨论表达能力（expressivity）、优化（optimization）与泛化（generalization）三个方面。

报告第一部分讨论表达能力与优化。我将引入神经流形（neuromanifold）与神经簇（neurovariety）的概念，并说明如何运用代数几何的工具研究神经网络架构所表示的函数空间。利用 Segre 簇的性质、Alexander–Hirschowitz 定理以及一般欧氏距离度（generic Euclidean distance degree），我们对若干特定激活函数的架构，得到了函数空间的维数、定义方程以及优化问题的代数度的精确公式。

第二部分从奇异学习理论（singular learning theory）的视角讨论泛化。该理论为 Fisher 信息矩阵退化的统计模型提供了推导泛化界的代数几何框架。在介绍该框架的基本思想之后，我将给出局部学习系数（local learning coefficient）——奇异学习理论中刻画退化程度的核心量——在二次激活浅层神经网络情形下的第一个解析公式。最后，我将讨论相关的实验证据：局部学习系数能够追踪不同优化盆地之间的转变，并与现代神经网络中观察到的"顿悟"（grokking）等现象相关。