学术交流

首页 / 学术交流 / 学术讲座 /

学术交流

“统计大讲堂”第170讲回顾:一种自上而下的理解深度学习的方式

2021-10-25

10月22日晚,“统计大讲堂”系列讲座第170讲举行。本次讲座采取线上会议的方式,邀请沃顿商学院统计学助理教授苏炜杰作题为“一种自上而下的理解深度学习的方式”的报告。讲座由中国人民大学统计学院副教授尹建鑫主持。

尹建鑫首先介绍了主讲人的相关信息。苏炜杰于2011年毕业于北京大学数学科学学院,并于2016年获斯坦福大学统计学博士学位,其间曾获得理论统计学Theodore Anderson 论文奖。苏炜杰主要从事机器学习和高维统计等课题的研究,2019年获得美国国家自然科学基金颁发的Faculty Early Career Development Award (NSF CAREER Award)。

苏炜杰从当今时代深度学习发展背景出发,提出深度学习已经成为一种科学的范式,当前深度学习取得突破的核心在于数据和计算。同时,他表示深度学习本身的复杂性要求我们构建一个小但能够替代它的简单的模型,并阐述了构建该模型的三大原则:数学上可分析、符合深度学习的一些特征、通过对模型的训练可以指导现实对深度学习的研究与运用。

随后,通过图示,苏炜杰向我们展示了layer-peeled model并解释其运行的基本原理:将神经网络最后一层作为单独的一层,而将其余层混合视为一层,以此进行构建、训练以及优化。

接着,苏炜杰从解释neural collapse现象、预测并验证minority collapse现象、以及从预测的现象中得出对现实的指导三大方面分析该模型的合理性。他用动画向我们展示训练数据得出现象的过程,让同学们有了更清晰、深入的理解。

最后,苏炜杰介绍了团队未来研究的方向,并对讲座的内容进行了总结。虽然Layer-peeled模型能够帮助人们进一步地理解深度学习,但我们对深度学习的探索仍任重道远。

在提问环节中,苏炜杰耐心细致地解答了老师同学们的疑问,就本课题进行了更加深入的探讨。

此后“统计大讲堂”系列将陆续推出更多精彩讲座,敬请关注。