大数据知识工程研究所
延安市红色文化大数据智能信息处理重点实验室

 首页 | 研究所概况 | 科学研究 | 师资队伍 | 人才培养 | 学术交流 | 延大首页 

学术交流
当前位置: 首页>>学术交流>>学术前沿>>正文

自然语言预训练模型系列报告一

作者: 张紫芸 李卓宇 核稿: 马乐荣 

 

2020年12月5日晚,美团AI高级算法专家王金刚博士阿里巴巴达摩院高级工程师田俊峰应邀来我校为数学与计算机学院做自然语言预训练模型系列学术报告。报告由数计学院副院长马乐荣教授主持,数计学院部分研究生、本科生以及物电学院部分研究生参加了报告会。

 

 

报告会上,王金刚博士首先做了题为《预训练语言模型介绍》的学术报告。以Google BERT为代表的预训练语言模型的研究热点入手,详细回顾预训练发展历史,介绍Transformer及BERT原理,展望预训练的研究工作,同时也介绍了美团在预训练语言模型研究和应用。随后,高级工程师田俊峰报告了预训练模型下游任务应用实践,从安装环境,数据收集和处理,数据文本分词和ID化,模型训练和验证,模型测试,常见问题等多个方面对预训练模型下游任务应用实践做了精心辅导。整个报告会历时近4个小时,会场气氛热烈而有序。

 

王金刚,2016年北京理工大学博士毕业,研究方向为自然语言处理,开发的知识库渐增引文推荐系统在TREC KBA 2013评测中排名第一,在TKDE、SIGIR、AAAI、IJCAI、EMNLP、CIKM等顶级期刊和会议上发表20余篇论文。2016年加入阿里巴巴,任职于搜索事业部、达摩院NLP团队和机器翻译团队,先后参与了个性化推荐、智能问答、文本摘要和机器翻译等方向的工作。2018年加入美团AI平台,负责美团预训练语言模型研究和应用。

田俊峰,2018年华东师范大学硕士毕业,研究方向为深度学习和自然语言处理,曾获得国际语义评测SemEval 2017多语言相似度任务第一,并在国际顶级会议ACL, AAAI, EMNLP, COLING等发表多篇文章。2018年加入阿里巴巴达摩院工作,先后参与智能问答、摘要生成、对话生成等工作,帮助闲鱼App提升成交近千万。

 

 

关闭窗口