彩票预测-十大彩票预测

荔园学者Colloquium第一百八十三期

讲座题目：阶梯现象及其在神经网络训练动力学初始化中的应用

主讲人：杨将 教授（南方科技大学)

讲座时间：2026年10月21日10:00-11:00

讲座地点：深圳大学粤海校区汇星楼一号教室

内容摘要：理解深度神经网络（DNN）的训练动力学，尤其是其如何从高维数据中演化出低维特征，是深度学习理论的核心难题之一。本文提出 ε-秩（epsilon-rank）这一定量刻画末端隐藏层神经元函数有效特征的新指标。大量实验表明存在一种普遍的"阶梯现象"：在标准随机梯度下降训练过程中，损失函数的下降伴随 ε-秩的上升，且呈阶梯状。理论上，我们严格证明了损失下界与 ε-秩之间的负相关性，说明较高的 ε-秩是损失显著下降的必要条件；数值结果还表明，同一网络中后一隐藏层的 ε-秩高于前一隐藏层。基于此，为消除阶梯现象，我们提出一种针对初始隐藏层的新型预训练策略，以提升末端隐藏层的 ε-秩。数值实验验证了该方法在多种任务上可缩短训练时间、提升精度。

主讲人简介： 杨将，南方科技大学数学系长聘教授。2010 年获浙江大学学士学位，2014 年获香港浸会大学博士学位，2014–2017 年先后在宾夕法尼亚州立大学、哥伦比亚大学从事博士后研究，2017 年起任职于南方科技大学。主要从事计算数学研究，研究方向包括相场模型与非局部模型的建模、数值方法及应用、深度学习算法设计与理论，成果发表于 SIAM Review、SINUM、Math. Comp.、M3AS、SISC、JCP 等期刊。曾获世界华人数学家大会杰出论文奖（2024）、国际基础科学大会"前沿科学奖"（2025）、教育部自然科学研究优秀成果奖一等奖（2025，排名 2/4），入选斯坦福-爱思唯尔全球 2% 顶尖科学家（2025，2026）。入选国家高层次人才计划青年项目、深圳市杰青项目，主持国家自然科学基金天元数学交叉重点专项、面上项目及广东省自然科学基金等多项科研基金。

欢迎师生参加！

　　　　　　　　　　　　　　　　　　　 十大彩票预测

　　　　　　　　　　　　　　　　　　2026年10月15日