[发明专利]一种基于多模态知识图谱的电影推荐方法、系统及终端

权利要求书

1.一种基于多模态知识图谱的电影推荐方法，其特征在于，所述基于多模态知识图谱的电影推荐方法包括：

接收单模态特征的输入，根据所述单模态特征获取电影图片和文本信息，抽取所述电影图片和所述文本信息中的实体、属性和关系；

将所抽取的实体、属性和关系进行知识获取得到知识本体后，与知识图谱结构化数据进行知识融合和知识加工后得到多模态知识图谱；

根据实体和路径的关系，通过嵌入层将头实体和尾实体投影到向量空间中映射成两个嵌入向量，将路径中的每个关系分别投影表示为单独的嵌入向量；

利用长短期记忆网络模型学习所述嵌入层输入的嵌入向量，输出表示实体和关系的聚合路径；

利用两个全连接层将所述聚合路径的最终状态进行投影，输出路径得分，通过平均池化聚合所有路径得分，输出用户观看电影的预测概率，并作为推荐评分展示给用户。

2.根据权利要求1所述的基于多模态知识图谱的电影推荐方法，其特征在于，所述实体包括头实体和尾实体。

3.根据权利要求1所述的基于多模态知识图谱的电影推荐方法，其特征在于，所述将所抽取的实体、属性和关系进行知识获取得到知识本体，之前还包括：

将所抽取的实体进行实体消歧处理，所述实体消歧处理用于得到实体的真实语义。

4.根据权利要求3所述的基于多模态知识图谱的电影推荐方法，其特征在于，所述将所抽取的实体、属性和关系进行知识获取得到知识本体，之后还包括：

将所述知识本体进行知识预处理。

5.根据权利要求4所述的基于多模态知识图谱的电影推荐方法，其特征在于，所述知识预处理包括：

利用正则处理和语法匹配，并利用集合相似度度量函数计算属性之间的相似性；

根据属性相似度，采用加权平均的方式得到实体相似度，进行实体链接得到结构化信息。

6.根据权利要求1所述的基于多模态知识图谱的电影推荐方法，其特征在于，所述知识图谱结构化数据为知识图谱本身存储的数据。

7.根据权利要求1所述的基于多模态知识图谱的电影推荐方法，其特征在于，所述输出用户观看电影的预测概率，并作为推荐评分展示给用户，具体包括：

输出多个用户观看电影的预测概率，将多个目标电影按照预测概率从大到小进行排序，并从中选择预设个数的电影推荐给用户。

8.一种基于多模态知识图谱的电影推荐系统，其特征在于，所述基于多模态知识图谱的电影推荐系统包括：

信息获取模块，用于接收单模态特征的输入，根据所述单模态特征获取电影图片和文本信息，抽取所述电影图片和所述文本信息中的实体、属性和关系；

知识图谱生成模块，用于将所抽取的实体、属性和关系进行知识获取得到知识本体后，与知识图谱结构化数据进行知识融合和知识加工后得到多模态知识图谱；

嵌入处理模块，用于根据实体和路径的关系，通过嵌入层将头实体和尾实体投影到向量空间中映射成两个嵌入向量，将路径中的每个关系分别投影表示为单独的嵌入向量；

路径聚合模块，用于利用长短期记忆网络模型学习所述嵌入层输入的嵌入向量，输出表示实体和关系的聚合路径；

电影推荐模块，用于利用两个全连接层将所述聚合路径的最终状态进行投影，输出路径得分，通过平均池化聚合所有路径得分，输出用户观看电影的预测概率，并作为推荐评分展示给用户。

9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于多模态知识图谱的电影推荐程序，所述基于多模态知识图谱的电影推荐程序被所述处理器执行时实现如权利要求1-7任一项所述的基于多模态知识图谱的电影推荐方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于多模态知识图谱的电影推荐程序，所述基于多模态知识图谱的电影推荐程序被处理器执行时实现如权利要求1-7任一项所述的基于多模态知识图谱的电影推荐方法的步骤。