王金刚博士在线做《大规模预训练模型压缩技术和实践》专题讲座

撰稿人：王思源 核稿人：丁苍峰

2022年11月18日，美团高级算法专家、中国中文信息学会青工委委员王金刚博士再次应邀为延安大学大数据知识工程研究所全体师生作了《大规模预训练模型压缩技术和实践》专题讲座，本次学术讲座由大数据知识工程研究所副主任丁苍峰老师主持。

本次会议王金刚博士首先从实例分析的角度出发，分析了不同应用场景中大规模预训练模型压缩技术的应用，当模型参数过多、结构过于庞大复杂，需要对模型进行压缩，压缩后的模型既要保证模型原有特性不消失，还简化了模型的结构，解决大模型落地“最后一公里”挑战。然后讲述了面向高压缩比需求的模型压缩方法AutoDisc和迭代式多教师蒸馏策略以及悟道百亿GLM模型在美团业务应用实践。最后，阐述了面向语义匹配场景的双塔蒸馏方法VIRT及在美团业务应用实践。

在讲座结束之际，学生们积极咨询了许多关于大规模预训练模型压缩技术方面的问题，老师之间相互交流讨论。纵观整场报告，老师与学生们的反响异常热烈，报告间隙的讨论过程十分精彩，激发了学生们的求知欲望，充分达到了本次学术报告的目的，也让我们由衷的期待下一次的学术报告。

报告人简介：王金刚博士，美团高级算法专家，中国中文信息学会青工委委员，入选2022年北京市科技新星计划，分别于2010年和2016年在北京理工大学取得工学学士学位和博士学位。长期从事自然语言处理研发工作，在AAAI、IJCAI、NeurIPS、SIGIR、ACL、EMNLP和TKDE等顶级会议和期刊上发表论文30余篇，申请发明专利20余项。