[发明专利]一种多模态知识库的构建方法、装置及计算机可读介质

权利要求书

1.一种多模态知识库的构建方法，其特征在于，所述方法包括：

接收训练数据，所述训练数据为非结构化文本数据；

提取所接收的训练数据中所有的实体，得到实体集；

针对所得到的实体集中的每一个实体，获取对应于每一个实体的图片；

将所述实体集中的每一个实体和对应于所述实体的图片作为联合模型的输入进行训练，得到对应于所述实体且相互映射的词向量和图片向量；

根据所得到的图片向量，生成用于将所述图片向量映射于所述图片的图片索引；

利用关系抽取模型获得所述实体集中每一个实体之间的关系；

根据从所述训练数据中所获取到的实体、对应的词向量、图片和对应的图片向量以及实体之间的关系，建立多模态知识库；

所述多模态知识库根据用户提供的查询信息反馈文本信息，从所述文本信息中提取查询实体；

根据所述查询实体查找与其有关系连接的其他实体，得到每个实体的词向量；

根据所述词向量通过映射关系查询图片向量，根据所述图片向量通过图片索引找到对应的图片，反馈所述查询实体、所述其他实体以及所述图片。

2.根据权利要求1所述的方法，其特征在于，所述联合模型包括词向量模型和视觉模型；

所述将所述实体集中的每一个实体和对应于所述实体的图片作为联合模型的输入进行训练，包括：

将所述实体集中的每一个实体作为所述词向量模型的输入进行训练，得到对应于所述实体的词向量；

将对应于所述实体的图片作为所述视觉模型的输入进行训练，得到对应于所述实体的图片向量；

根据所得到的对应于所述实体的词向量和图片向量，更新所述联合模型中的参数信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所得到的对应于所述实体的词向量和图片向量，更新所述联合模型中的参数信息，包括：

将所得到的对应于所述实体的词向量和图片向量通过代价函数进行计算，得到损失值；

根据所得到的损失值和历史损失值，更新所述联合模型中的参数信息。

4.根据权利要求3所述的方法，其特征在于，所述根据所得到的损失值和历史损失值，更新所述联合模型中的参数信息，包括：

计算所得到的损失值和历史损失值在设定时间段内的损失变化率；

若判定所计算得到的损失变化率大于预设值时，则更新所述联合模型中的参数信息。

5.一种多模态知识库的构建装置，其特征在于，所述装置包括：

接收模块，用于接收训练数据，所述训练数据为非结构化文本数据；

提取模块，用于提取所接收的训练数据中所有的实体，得到实体集；

获取模块，用于针对所得到的实体集中的每一个实体，获取对应于每一个实体的图片；

训练模块，用于将所述实体集中的每一个实体和对应于所述实体的图片作为联合模型的输入进行训练，得到对应于所述实体且相互映射的词向量和图片向量；

生成模块，用于根据所得到的图片向量，生成用于将所述图片向量映射于所述图片的图片索引；

识别模块，用于利用关系抽取模型获得所述实体集中每一个实体之间的关系；

根据从所述训练数据中所获取到的实体、对应的词向量、图片和对应的图片向量以及实体之间的关系，建立多模态知识库；所述多模态知识库根据用户提供的查询信息反馈文本信息，从所述文本信息中提取查询实体；根据所述查询实体查找与其有关系连接的其他实体，得到每个实体的词向量；根据所述词向量通过映射关系查询图片向量，根据所述图片向量通过图片索引找到对应的图片，反馈所述查询实体、所述其他实体以及所述图片。

6.根据权利要求5所述的装置，其特征在于，所述联合模型包括词向量模型和视觉模型；所述训练模块具体用于：

将所述实体集中的每一个实体作为所述词向量模型的输入进行训练，得到对应于所述实体的词向量；

将对应于所述实体的图片作为所述视觉模型的输入进行训练，得到对应于所述实体的图片向量；

根据所得到的对应于所述实体的词向量和图片向量，更新所述联合模型中的参数信息。