[发明专利]基于多头自注意神经机制的多模态新闻推荐方法及装置

权利要求书

1.一种基于多头自注意神经机制的多模态新闻推荐方法，其特征在于，包括以下步骤：

采集数据信息，包括新闻数据、特征数据、痕迹数据；

基于view-level注意力机制的多成分特征交叉模型、流式数据的热点新闻实时预测技术、智能抽帧的多模态信息融合技术，将所述数据信息融合成统一的新闻特征；

将所述统一的新闻特征作为模型输入，通过用户兴趣表征模型并结合最高未来影响策略，完成个性化精准推荐的功能。

2.根据权利要求1所述的方法，其特征在于，所述采集数据信息还包括对用户的兴趣标签进行采集。

3.根据权利要求1所述的方法，其特征在于，所述多模态信息融合技术，包括：

对于视频数据，采用智能抽帧技术，将视频分割为图像；

对于图像和音频数据，分别采用图像识别和语音识别技术，将图像和音频数据转换成文本数据。

4.根据权利要求1所述的方法，其特征在于，所述用户兴趣表征模型，包括：

在新闻编码方面，采用多头自注意神经机制捕捉任意单词间的关系；

在用户编码方面，采用多头自注意神经机制捕获取新闻间的潜在联系；

之后，采用注意机制确定每个单词或每个新闻的权重。

5.根据权利要求1所述的方法，其特征在于，所述未来最高影响策略，包括：

通过新闻的产生时间，对每篇新闻的信息进行时效权重的赋予，并根据大量的实验数据，规定新闻的失效阈值。

6.一种基于多头自注意神经机制的多模态新闻推荐装置，其特征在于，包括以下模块：

信息采集模块，用于采集数据信息，包括新闻数据、特征数据、痕迹数据；

特征构建模块，用于基于view-level注意力机制的多成分特征交叉模型、流式数据的热点新闻实时预测技术、智能抽帧的多模态信息融合技术，将所述数据信息融合成统一的新闻特征；

个性化精准推荐模块，用于将所述统一的新闻特征作为模型输入，通过用户兴趣表征模型并结合最高未来影响策略，完成个性化精准推荐的功能。

7.根据权利要求6所述的装置，其特征在于，所述信息采集模块，还用于对用户的兴趣标签进行采集。

8.根据权利要求6所述的装置，其特征在于，所述多模态信息融合技术，包括：

对于视频数据，采用智能抽帧技术，将视频分割为图像；

对于图像和音频数据，分别采用图像识别和语音识别技术，将图像和音频数据转换成文本数据。

9.根据权利要求6所述的装置，其特征在于，所述用户兴趣表征模型，包括：

在新闻编码方面，采用多头自注意神经机制捕捉任意单词间的关系；

在用户编码方面，采用多头自注意神经机制捕获取新闻间的潜在联系；

之后，采用注意机制确定每个单词或每个新闻的权重。

10.根据权利要求6所述的装置，所述未来最高影响策略，包括：

通过新闻的产生时间，对每篇新闻的信息进行时效权重的赋予，并根据大量的实验数据，规定新闻的失效阈值。