学术交流

首页 / 学术交流 / 学术讲座 /

学术交流

“统计大讲堂”第180讲回顾:从指标模型到神经网络

2021-12-23

12月17日上午,“统计大讲堂”系列讲座第180讲举行。本次讲座采取线上和线下会议结合的方式,邀请清华大学统计学研究中心副教授林乾作题为“从指标模型到神经网络”的报告。讲座由中国人民大学统计学院副教授、应用统计科学研究中心研究员尹建鑫主持。

尹建鑫首先介绍了主讲人的相关信息。林乾为清华大学统计学研究中心副教授,获得北大数学学院学士、MIT应用数学博士。主要研究兴趣为高维数据降维、深度学习的数理基础、数据科学中的数学问题等。

林乾首先简单阐述了神经网络模型,并说明其优势在于可以达到好的实际效果、不需要很多特征工程以及结构相对容易修改。然而,应用神经网络模型时需要大量的数据和复杂的计算,并且由于难以确定超参数,模型本身缺乏可解释性。

林乾认为,为了更深入地认识神经网络,必须探索三个主要问题:神经网络不会过拟合的原因、神经网络比理论上最优的非参数方法效果好的原因以及受益于神经网络而发展的新的统计方法。

在阐述了全连接网络和多指标模型的原理之后,林乾结合近年来充分性降维的重要成果,如相变现象、极小极大率和Lasso型算法,得出神经网络是介于多指标模型和线性模型之间的一种模型的结论,从而证明了通过对线性模型和多指标模型问题的研究来反哺对神经网络的研究的可行性。

基于对上述三个模型的研究,林乾用图表和具体实例展示了他所在团队的研究成果。他们发现了神经网络训练中的集中性现象、多层神经网络在梯度下降训练的过程中所得到的解具备逐层单调的性质,并且证明了在大规模数据中神经网络优于非参数方法的原因,进而发展了新的非参数方法的理论框架。

最后,在提问交流环节,在线师生积极参与讨论,林乾耐心解答了听众的疑问,并就神经网络模型是否可以被多指标模型完全覆盖的问题做了更加深入的探讨。