[发明专利]一种多模态知识库的构建方法、装置及计算机可读介质

说明书

本发明公开了一种多模态知识库的构建方法、装置及计算机可读介质，包括：接收训练数据；提取所接收的训练数据中所有的实体，得到实体集；针对所得到的实体集中的每一个实体，获取对应于每一个实体的图片；将实体集中的每一个实体和对应于实体的图片作为联合模型的输入进行训练，得到对应于实体且相互映射的词向量和图片向量；根据所得到的图片向量，生成用于将图片向量映射于图片的图片索引。查询时，知识库根据查询信息反馈文本信息，从文本信息中提取实体，根据实体得到词向量，词向量通过映射关系查询图片向量，图片向量通过图片索引找到对应的图片，反馈该图片。本知识库在查询时既能反馈文本信息，还能反馈图片信息，使得查询结果全面。

技术领域

本发明涉及人工智能领域，尤其涉及一种多模态知识库的构建方法、装置及计算机可读介质。

背景技术

目前大多数知识库仅仅使用文本数据，基于知识库的查询只能返回文本结果，知识描述方式单一，难以全面。

发明内容

本发明实施例提供了一种多模态知识库的构建方法、装置及计算机可读介质，查询时，在返回文本结果的基础上还能返回对应的图片信息，使得查询结果变得丰富、全面。

本发明一方面提供一种多模态知识库的构建方法，所述方法包括：接收训练数据；提取所接收的训练数据中所有的实体，得到实体集；针对所得到的实体集中的每一个实体，获取对应于每一个实体的图片；将所述实体集中的每一个实体和对应于所述实体的图片作为联合模型的输入进行训练，得到对应于所述实体且相互映射的词向量和图片向量；根据所得到的图片向量，生成用于将所述图片向量映射于所述图片的图片索引。

在一可实施方式中，所述联合模型包括词向量模型和视觉模型；所述将所述实体集中的每一个实体和对应于所述实体的图片作为联合模型的输入进行训练，包括：将所述实体集中的每一个实体作为所述词向量模型的输入进行训练，得到对应于所述实体的词向量；将对应于所述实体的图片作为所述视觉模型的输入进行训练，得到对应于所述实体的图片向量；根据所得到的对应于所述实体的词向量和图片向量，更新所述联合模型中的参数信息。

在一可实施方式中，所述根据所得到的对应于所述实体的词向量和图片向量，更新所述联合模型中的参数信息，包括：将所得到的对应于所述实体的词向量和图片向量通过代价函数进行计算，得到损失值；根据所得到的损失值和历史损失值，更新所述联合模型中的参数信息。

在一可实施方式中，所述根据所得到的损失值和历史损失值，更新所述联合模型中的参数信息，包括：计算所得到的损失值和历史损失值在设定时间段内的损失变化率；若判定所计算得到的损失变化率大于预设值时，则更新所述联合模型中的参数信息。

在一可实施方式中，所述方法还包括：利用关系抽取模型获得所述实体集中每一个实体之间的关系。

本发明另一方面提供一种多模态知识库的构建装置，所述装置包括：接收模块，用于接收训练数据；提取模块，用于提取所接收的训练数据中所有的实体，得到实体集；获取模块，用于针对所得到的实体集中的每一个实体，获取对应于每一个实体的图片；训练模块，用于将所述实体集中的每一个实体和对应于所述实体的图片作为联合模型的输入进行训练，得到对应于所述实体且相互映射的词向量和图片向量；生成模块，用于根据所得到的图片向量，生成用于将所述图片向量映射于所述图片的图片索引。

在一可实施方式中，所述联合模型包括词向量模型和视觉模型；所述训练模块具体用于：将所述实体集中的每一个实体作为所述词向量模型的输入进行训练，得到对应于所述实体的词向量；将对应于所述实体的图片作为所述视觉模型的输入进行训练，得到对应于所述实体的图片向量；根据所得到的对应于所述实体的词向量和图片向量，更新所述联合模型中的参数信息。