[发明专利]一种模态信息补全方法、装置及设备

权利要求书

1.一种模态信息补全方法，其特征在于，该方法包括：

获取模态信息组，所述模态信息组包括至少两个模态信息；

根据所述模态信息组的属性，确定所述模态信息组缺失了第一模态信息的部分或全部，所述模态信息组还包括第二模态信息；

提取所述第二模态信息的特征向量；

基于预设的特性向量映射关系，根据所述第二模态信息的特征向量确定所述第一模态信息的目标特征向量。

2.如权利要求1所述的方法，其特征在于，所述基于预设的特性向量映射关系，根据所述第二模态信息的特征向量确定所述第一模态信息的目标特征向量，包括：

基于所述特性向量映射关系，根据所述第二模态信息的特征向量确定所述第一模态信息的候选特征向量；

根据所述第一模态信息的候选特征向量确定所述第一模态信息的目标特征向量。

3.如权利要求1或2所述的方法，其特征在于，所述基于预设的特性向量映射关系，根据所述第二模态信息的特征向量确定所述第一模态信息的目标特征向量，包括：

基于预设的机器学习模型，根据所述第二模态信息的特征向量确定所述第一模态信息的目标特征向量，所述机器学习模型学习了所述特性向量映射关系，用于根据输入的模态信息的特征向量输出其他的模态信息的特征向量。

4.如权利要求1～3任一所述的方法，其特征在于，所述模态信息组的属性包括下列的部分或全部：

所述模态信息组中模态信息的数量、所述模态信息组中每个模态信息的数据量。

5.如权利要求1～4任一所述的方法，其特征在于，所述方法还包括：

获取所述第一辅助信息，根据所述第一辅助信息确定所述模态信息组的属性，所述第一辅助信息用于指示下列的部分或全部：所述模态信息组中模态信息的数量、所述模态信息组中每个模态信息的数据量；或

根据预设的第二辅助信息，确定所述模态信息组的属性，所述第二辅助信息用于指示下列的部分或全部：获取的任一模态信息组中模态信息的数量、获取的任一模态信息组中每个模态信息的数据量；或

根据其他模态信息组的属性确定所述模态信息组的属性，所述其他模态信息组为在获取所述模态信息组之前所获取的模态信息组。

6.如权利要求1～5任一所述的方法，其特征在于，所述模态信息组还包括第三模态信息；

所述方法还包括：

提取所述第三模态信息的特征向量；

基于所述特性向量映射关系，根据所述第三模态信息的特征向量和所述第二模态信的特征向量确定所述第一模态信息的目标特征向量。

7.如权利要求6所述的方法，其特征在于，所述基于所述预设的特性向量映射关系，根据所述第三模态信息的特征向量和所述第二模态信的特征向量确定所述第一模态信息的目标特征向量，包括：

基于所述特性向量映射关系，根据所述第三模态信息的特征向量确定所述第一模态信息的另一候选特征向量；

根据所述第一模态信息的候选特征向量和所述第一模态信息的另一候选特征向量确定所述第一模态信息的目标特征向量。

8.如权利要求1～7任一所述的方法，其特征在于，所述模态信息组中包括的每个模态信息的类型不同。

9.一种补全装置，其特征在于，该装置包括：

信息获取模块，用于获取模态信息组，所述模态信息组包括至少两个模态信息；以及根据所述模态信息组的属性，确定所述模态信息组缺失了第一模态信息的部分或全部，所述模态信息组还包括第二模态信息；

特征提取模块，用于提取所述第二模态信息的特征向量；

补全模块，用于基于预设的特性向量映射关系，根据所述第二模态信息的特征向量确定所述第一模态信息的目标特征向量。