[发明专利]一种基于门控多头自我关注的新闻推荐方法及系统

权利要求书

1.一种基于门控多头自我关注的新闻推荐方法，其特征在于，包括：

获取历史点击新闻和候选新闻，使用预训练模型BERT分别进行新闻编码，得到历史点击新闻特征和候选新闻特征；

基于多头自我注意力，捕捉历史点击新闻特征之间的关联性，并用候选新闻特征进行特征过滤，获得用户特征；

联合历史点击新闻特征、候选新闻特征和用户特征，预测用户浏览每个候选新闻的概率，基于预测概率向用户推荐候选新闻。

2.如权利要求1所述的一种基于门控多头自我关注的新闻推荐方法，其特征在于，所述新闻编码的具体步骤为：

用预训练模型BERT提取新闻的文本表征；

用Bi-LSTM捕捉文本表征的双向语义依赖；

基于双向语义依赖，用注意力网络对Bi-LSTM的输出进行聚合，得到含丰富上下文语义信息的新闻特征。

3.如权利要求1所述的一种基于门控多头自我关注的新闻推荐方法，其特征在于，所述捕捉历史点击新闻特征之间的关联性，具体步骤为：

计算历史点击新闻特征中每个特征的查询信息、键信息和值信息；

对查询信息、键信息和值信息进行多轮缩放点积注意力计算，保存每轮的计算结果；

将全部计算结果进行拼接，并进行一次线性变化，得到加强后的历史点击新闻特征。

4.如权利要求1所述的一种基于门控多头自我关注的新闻推荐方法，其特征在于，所述用候选新闻特征进行特征过滤的具体步骤为：

基于加强后的历史点击新闻特征、查询信息和候选新闻特征，计算新闻内部信息和通道调节门信息；

对新闻内部信息和通道调节门信息进行点积运算，得到重构后的新闻特征；

对实现重构后的新闻特征进行注意力加权聚合，生成用户特征。

5.如权利要求1所述的一种基于门控多头自我关注的新闻推荐方法，其特征在于，所述预测用户浏览每个候选新闻的概率，基于预测概率向用户推荐候选新闻，具体步骤为：

构建由正样本和负样本组成的训练库，对概率预测模型进行训练；

将待预测的候选新闻特征输入到训练好的模型中，得到候选新闻的点击概率；

对一组候选新闻的点击概率进行排序，取前几个候选新闻推荐给用户。

6.如权利要求1所述的一种基于门控多头自我关注的新闻推荐方法，其特征在于，所述概率预测模型，输入的是候选新闻特征和用户特征，输出的是候选新闻的点击概率。

7.如权利要求1所述的一种基于门控多头自我关注的新闻推荐方法，其特征在于，所述点击概率，为用户特征和新闻特征的内积。

8.一种基于门控多头自我关注的新闻推荐系统，其特征在于：包括新闻编码模块、用户编码模块和概率预测模块：

新闻编码模块，被配置为：获取历史点击新闻和候选新闻，使用预训练模型BERT分别进行新闻编码，得到历史点击新闻特征和候选新闻特征；

用户编码模块，被配置为：基于多头自我注意力，捕捉历史点击新闻特征之间的关联性，并用候选新闻特征进行特征过滤，获得用户特征；

概率预测模块，被配置为：联合历史点击新闻特征、候选新闻特征和用户特征，预测用户浏览每个候选新闻的概率，基于预测概率向用户推荐候选新闻。

9.计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的一种基于门控多头自我关注的新闻推荐方法中的步骤。

10.电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的一种基于门控多头自我关注的新闻推荐方法中的步骤。