我中心研究员杨翰方课题组在ACL 2022发表论文。该研究主要提出了一种多任务学习框架，将多领域信息整合到BERT中，从而提高其新闻编码能力。在MIND新闻推荐数据集上的大量实验验证了该方法的有效性。

论文题目

MTRec: Multi-Task Learning over BERT for News Recommendation

文章摘要

现有新闻推荐方法通常根据新闻标题来学习新闻表示。本文提出充分利用新闻其他字段的信息，如类别和实体。之前方法将这些字段信息视为附加特征，并利用注意力机制将不同的特征向量结合起来。随着新闻推荐中逐渐采用BERT等大型预训练模型，上述融合多字段信息的方式会遇到一些问题：用于压缩类别和实体信息的浅层编码向量与BERT的深层编码不兼容。本文提出一种多任务学习框架，将多字段信息整合到BERT中，从而提高其新闻编码能力。此外，我们根据梯度冲突修改不同任务的梯度，进一步提升模型性能。在MIND新闻推荐数据集上的大量实验表明了我们方法的有效性。

作者介绍

毕启炜，统计学院2019级博士研究生。

杨翰方（通讯作者），中国人民大学统计学院副教授，应用统计科学研究中心研究员。

会议介绍

国际计算语言学年会（Annual Meeting of the Association for Computational Linguistics，简称ACL）在世界范围内每年召开一次，是自然语言处理/人工智能领域的顶级会议，被中国计算机协会（CCF）评级为A类会议，今年是第60届会议，将于5月22-27日在爱尔兰都柏林召开。

发表页面