[发明专利]一种基于门控多头自我关注的新闻推荐方法及系统

说明书

本发明提出了一种基于门控多头自我关注的新闻推荐方法及系统，属于新闻的个性化推荐领域,获取历史点击新闻和候选新闻，使用预训练模型BERT分别进行新闻编码，得到历史点击新闻特征和候选新闻特征；基于多头自我注意力，捕捉历史点击新闻特征之间的关联性，并用候选新闻特征进行特征过滤，获得用户特征；联合历史点击新闻特征、候选新闻特征和用户特征，预测用户浏览每个候选新闻的概率，基于预测概率向用户推荐候选新闻；本发明用门控多头自我关注机制来调节用户的兴趣，以便更好地将候选新闻与特定的用户兴趣准确匹配；而且将丰富语言知识的预训练模型BERT应用于新闻推荐来增强新闻文本表示，提高新闻推荐的准确性。

技术领域

本发明属于新闻的个性化推荐领域，尤其涉及一种基于门控多头自我关注的新闻推荐方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

新闻推荐作为推荐系统研究领域的一个重要分支，旨在通过新闻内容和用户信息尽可能多地帮助用户找到与用户兴趣偏好相匹配的新闻；不同的单词和不同的新闻文章在表示新闻和用户时所隐含的信息是不同的；注意力机制的使用可以赋予不同的单词和新闻不同的权重，来实现捕捉新闻关键的语义信息和用户的重要的兴趣线索；例如An等人提出个性化的词级与新闻级的关注机制来关注不同单词与新闻对用户产生的影响；wu等人提出了一个注意的多视图学习机制，从新闻的多种成分(标题，类别，正文)学习新闻的表示；Qi等人进一步提出了多头自我关注的方法实现捕捉单词与单词、新闻与新闻之间的长距离的相关性；在这些方法中，注意力机制的使用有效的改善了新闻推荐的性能。

然而，在建模用户兴趣过程中仅考虑了用户浏览新闻之间的关系可能不是最佳的，这是因为用户的兴趣是广泛的，如在注意力学习用户兴趣的过程中不考虑候选新闻，这会使得学习得到的用户兴趣有较多的与候选新闻无关的信息，很难将候选新闻与特定用户兴趣准确匹配。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于门控多头自我关注的新闻推荐方法及系统，用门控多头自我关注机制来调节用户的兴趣，以便更好地将候选新闻与特定的用户兴趣准确匹配；而且将丰富语言知识的预训练模型BERT应用于新闻推荐来增强新闻文本表示，提高新闻推荐的准确性。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

本发明第一方面提供了一种基于门控多头自我关注的新闻推荐方法；

一种基于门控多头自我关注的新闻推荐方法，包括：

获取历史点击新闻和候选新闻，使用预训练模型BERT分别进行新闻编码，得到历史点击新闻特征和候选新闻特征；

基于多头自我注意力，捕捉历史点击新闻特征之间的关联性，并用候选新闻特征进行特征过滤，获得用户特征；

联合历史点击新闻特征、候选新闻特征和用户特征，预测用户浏览每个候选新闻的概率，基于预测概率向用户推荐候选新闻。

进一步的，所述新闻编码的具体步骤为：

用预训练模型BERT提取新闻的文本表征；

用Bi-LSTM捕捉文本表征的双向语义依赖；

基于双向语义依赖，用注意力网络对Bi-LSTM的输出进行聚合，得到含丰富上下文语义信息的新闻特征。

进一步的，所述捕捉历史点击新闻特征之间的关联性，具体步骤为：

计算历史点击新闻特征中每个特征的查询信息、键信息和值信息；

对查询信息、键信息和值信息进行多轮缩放点积注意力计算，保存每轮的计算结果；

将全部计算结果进行拼接，并进行一次线性变化，得到加强后的历史点击新闻特征。