[发明专利]一种多模态数据库建立方法、检索方法及系统

说明书

本发明提供了一种多模态数据库建立方法、检索方法及系统，该建立方法通过获取混合模态数据；从混合模态数据中提取各模态数据对应的数据特征，构建混合模态特征集；根据预设标签类别数目范围，对混合模态特征集中的特征数据进行聚类，得到不同预设标签类别数目下各模态数据对应的子标签及混合模态数据对应的总标签；分别计算不同预设标签类别数目下总标签对应的预设聚类评价指标的评分值以确定目标标签类别数目，并根据目标标签类别数目下各模态数据对应的子标签及混合模态数据对应的总标签建立多模态数据库。实现了建立的数据库中既有基于全局的总标签，也有基于局部的每个模态下的子标签，提高了对数据进行细节检索的准确性，具有良好的通用性。

技术领域

本发明涉及计算机技术领域，具体涉及一种多模态数据库建立方法、检索方法及系统。

背景技术

多模态数据是指在多种不同设备或场景下采集到的数据。现实世界中的数据集往往是多模态的，例如：一个的故事可以由文本叙述也能用图像或者音频来描述；一个文档可以由多种不同的语言表示也能用用户评价来表示等等。多模态数据库的建立旨在通过分析和处理多模态数据得到其重要特征和代表性检索标签，并以此为基础建立便于后续数据检索的数据库。

由于多模态数据库能充分利用多模态之间的互补性，剔除模态间的冗余性，与传统单模态数据库相比更能全面的体现数据的真实性，使得建立多模态数据库的需求非常迫切。但是，现有的多模态数据库在数据层上一般都属于相同数据类型，例如：全部数据均为图像数据或者均为音频数据等，并且在多模态数据建立标签时，将每个模态下的子标签的类别数目设置为与总标签的类别数目一致。但是，这种设置方式忽略了不同模态数据自身的数据特征信息，影响了对多模态数据库中的数据进行细节检索的准确性。

发明内容

有鉴于此，本发明实施例提供了一种多模态数据库建立方法、检索方法及系统，以克服现有技术中多模态数据库的建立方法忽略了不同模态数据自身的数据特征信息，造成多模态数据库细节检索准确性低的问题。

本发明实施例提供了一种多模态数据库建立方法，包括：

获取混合模态数据，所述混合模态数据包括不同数据类型的多模态数据；

从所述混合模态数据中提取各模态数据对应的数据特征，构建混合模态特征集；

根据预设标签类别数目范围，对所述混合模态特征集中的特征数据进行聚类，得到不同预设标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签；

分别计算不同预设标签类别数目下总标签对应的预设聚类评价指标的评分值；

基于所述评分值确定目标标签类别数目，并根据所述目标标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签建立多模态数据库。

可选地，所述从所述混合模态数据中提取各模态数据对应的数据特征，构建混合模态特征集，包括：

基于数据类型，对所述混合模态数据进行分类，得到各单模态数据；

获取各单模态数据的预设特征提取参数，并根据所述预设特征提取参数对各单模态数据进行特征提取，得到各单模态数据对应的特征数据；

基于各单模态数据对应的特征数据，构建所述混合模态特征集。

可选地，所述根据预设标签类别数目范围，对所述混合模态特征集中的特征数据进行聚类，得到不同预设标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签，包括：

获取当前预设标签类别数目；

分别对各单模态数据对应的特征数据进行聚类，得到各单模态数据对应的当前子标签；

基于所述当前预设标签类别数目对各模态数据对应的当前子标签进行聚类，得到所述混合模态数据的当前总标签。