“统计大讲堂”第197讲回顾:可微分视觉信息采集建模
2022-07-30
7月19日上午,“统计大讲堂”系列讲座第197讲举行。本次讲座采取线上会议的方式,邀请浙江大学计算机科学与技术学院教授吴鸿智作题为“可微分视觉信息采集建模”的报告。讲座由应用统计科学研究中心研究员、中国人民大学统计学院教授李扬主持。
李扬首先介绍了主讲人的相关信息。吴鸿智为浙江大学计算机科学与技术学院教授、博导,获得国家优青基金资助。博士毕业于美国耶鲁大学。主要研究兴趣为高密度采集装备与可微分建模,研制了多套具有自主知识产权的高密度光源阵列采集装备,研究成果发表于ACM TOG/IEEE TVCG等CCF-A类期刊,合作出版了计算机图形学译著2部,主持了国家自然科学基金多个研究项目以及微软亚洲研究院合作项目。担任Chinagraph程序秘书长,中国图像图形学会国际合作与交流工作委员会秘书长、智能图形专委会委员,CCF CAD&CG专委会委员,以及EG、PG、EGSR、CAD/Graphics等多个国际会议的程序委员会委员。
吴鸿智首先用直观的图片简单解释了采集视觉信息,由于采集信息的过程通常是使用二维传感器去探测重建三维甚至更高维的图像,所以维度不匹配、 高耦合性、非结构化输入成为采集视觉信息的三大难题。他解决这几个问题的关键思路是通过软硬件结合,实现高质量、高效率的采集。
紧接着,吴鸿智用卷积神经网络为基点区分了物理采集端与卷积计算端的两个过程,这二者构成了完整的信息传递链。在物理采集端,人们往往只重视采集指标,而不是最终目标。吴鸿智团队将物理采集端与计算端视为整体,以最终目标去驱动软硬件联合优化,被称为可微分采集建模。
接下来,吴鸿智以两篇论文为例,其中Efficient Reflectance: Capture Using an Autoencoder阐述了利用自动优化的主动光照明来更高效高质量地获取高维材质的原理。
而Free-form Scanning of Non-planar Apperance with Neural Trace Photography则聚焦于非结构化采集,提出了可微分框架来采集非平面图像,揭示了手持材质扫描和高维几何学习之间的联系,将三维物体上的每一个点在不同测量条件下的测量值和条件放在一起作为该点的高维轨迹,智能地将轨迹映射成高维材质参数。
他团队的工作解决了非结构化采集中输出结果与输入顺序、采样的密度、长度无关的挑战,并展示了生成图像的结果。
最后,在提问交流环节,在线师生积极参与讨论,吴鸿智耐心解答了在线师生的疑问,并就处理三维图像点集轨迹、扫描的采样方法问题做了更加深入的探讨。