[发明专利]一种多模态数据库建立方法、检索方法及系统

权利要求书

1.一种多模态数据库建立方法，其特征在于，包括：

获取混合模态数据，所述混合模态数据包括不同数据类型的多模态数据；

从所述混合模态数据中提取各模态数据对应的数据特征，构建混合模态特征集；

根据预设标签类别数目范围，对所述混合模态特征集中的特征数据进行聚类，得到不同预设标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签；

分别计算不同预设标签类别数目下总标签对应的预设聚类评价指标的评分值；

基于所述评分值确定目标标签类别数目，并根据所述目标标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签建立多模态数据库。

2.根据权利要求1所述的方法，其特征在于，所述从所述混合模态数据中提取各模态数据对应的数据特征，构建混合模态特征集，包括：

基于数据类型，对所述混合模态数据进行分类，得到各单模态数据；

获取各单模态数据的预设特征提取参数，并根据所述预设特征提取参数对各单模态数据进行特征提取，得到各单模态数据对应的特征数据；

基于各单模态数据对应的特征数据，构建所述混合模态特征集。

3.根据权利要求2所述的方法，其特征在于，所述根据预设标签类别数目范围，对所述混合模态特征集中的特征数据进行聚类，得到不同预设标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签，包括：

获取当前预设标签类别数目；

分别对各单模态数据对应的特征数据进行聚类，得到各单模态数据对应的当前子标签；

基于所述当前预设标签类别数目对各模态数据对应的当前子标签进行聚类，得到所述混合模态数据的当前总标签。

4.根据权利要求3所述的方法，其特征在于，所述根据预设标签类别数目范围，对所述混合模态特征集中的特征数据进行聚类，得到不同预设标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签，还包括：

基于所述当前总标签，分别计算各当前子标签的调整兰德系数值；

对不满足预设调整兰德系数值的各当前子标签对应的特征数据进行降维更新，并重新对更新后的特征数据进行聚类，以对各单模态数据对应的当前子标签进行更新。

5.根据权利要求1所述的方法，其特征在于，所述基于所述评分值确定目标标签类别数目，并根据所述目标标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签建立多模态数据库，包括：

对各预设标签类别数目对应的评分值进行排序；

将所述评分值最大预设标签类别数目确定为所述目标标签类别数目；

分别对各模态数据添加总标签及其对应的子标签，建立所述混合模态数据的多模态数据库。

6.一种多模态数据库检索方法，其特征在于，包括：

获取检索标签集合，所述检索标签集合包括多个检索标签；

基于所述检索标签集合，在所述多模态数据库中进行检索，得到所述检索标签集合对应的检索结果，所述多模态数据库为采用如权利要求1－5任一项所述的多模态数据库建立方法建立的多模态数据库。

7.一种多模态数据库建立系统，其特征在于，包括：

第一获取模块，用于获取混合模态数据，所述混合模态数据包括不同数据类型的多模态数据；

第一处理模块，用于从所述混合模态数据中提取各模态数据对应的数据特征，构建混合模态特征集；

第二处理模块，用于根据预设标签类别数目范围，对所述混合模态特征集中的特征数据进行聚类，得到不同预设标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签；

第三处理模块，用于分别计算不同预设标签类别数目下总标签对应的预设聚类评价指标的评分值；

第四处理模块，用于基于所述评分值确定目标标签类别数目，并根据所述目标标签类别数目下各模态数据对应的子标签及所述混合模态数据对应的总标签建立多模态数据库。