[发明专利]一种模态信息补全方法、装置及设备

说明书

一种模态信息补全方法、装置及设备，本申请中，补全装置先获取模态信息组，该模态信息组包括至少两个模态信息；之后，补全装置可以根据该模态信息组的属性，判断该模态信息组中第一模态信息是否缺失部分或全部；之后，基于预设的特性向量映射关系，根据模态信息组中第二模态信息的特征向量确定第一模态信息的目标特征向量。补全装置利用第二模态信息的特征向量确定的该第一模态信息的目标特征向量更贴近与第一模态信息真实的模态信息，保证了第一模态信息的目标特征向量的准确性。

技术领域

本申请涉及计算机技术领域，尤其涉及一种模态信息补全方法、装置及设备。

背景技术

模态是指信息来源或信息形式，模态的定义较为广泛，例如，人类的触觉、听觉、触觉、视觉、嗅觉都可以作为信息的来源，均可以看做一种模态。信息形式有语音、视频、文字等，分别可以作为一种模块。各种传感器，如雷达、压力计、加速度计等，也都是信息的来源，同样的，任一个传感器也可以作为一种模态。模态的定义较为广泛，并不仅限于上述列举的几种情况。例如，两种不同的语言可以认为是两种不同的模态，在两个不同场景下采集到的数据，也可以认为是两种不同的模态。

而多模态机器学习(multimodal machine learning，MMML)通过机器学习的方法获得处理和理解多个模态信息(一种模态信息是指模态的信息内容)的能力。目前，多模态机器学习多用于学习图像、视频、音频、文字等类型的模态信息。

但在多模态机器学习的过程中，通常会遇到模态缺失的情况，模态缺失是多个模态信息缺失至少一个模态信息中的部分信息或全部信息。模态缺失会影响多模态机器学习的准确程度。

目前，针对模态缺失的问题，常见的处理方式有数据清洗以及数据填充，数据清洗是指剔除缺失的模态信息中的剩余信息，数据清洗的方式会导致多个模态信息中将缺少至少一种模态的全部信息，使得在进行多模态机器学习时，不能对缺失的至少一种模态信息进行学习，多模态机器学习的效率变差。数据填充是指采用零值或模态信息的均值对缺失的至少一个模态部分信息进行填充，这种方式下填充的信息并不符合实际的模态信息的分布情况，使得在进行多模态机器学习时，不能对缺失的至少一种模态信息进行准确的学习。

综上，针对模态缺失的问题的处理方式均会导致多模态机器学习的效率变差，准确率变低。

发明内容

本申请提供一种模态信息补全方法、装置及设备，用以准确对模态信息进行补全。

第一方面，本申请提供了一种模态信息补全方法，该方法可以由补全装置执行，在该方法中，补全装置先获取模态信息组，该模态信息组包括至少两个模态信息；之后，补全装置可以根据该模态信息组的属性，判断该模态信息组中是否缺失一个或多个模态信息(也即一个或多个模态信息缺失了全部信息)，以及一个或多个模态信息是否缺失部分信息。为方便说明，缺失部分信息或全部信息的模态信息称为第一模态信息。模态信息组中除第一模态信息外的一个模态信息称为第二模态信息，补全装置可以提取该第二模态信息的特征向量；之后，基于预设的特性向量映射关系，根据第二模态信息的特征向量确定第一模态信息的目标特征向量。

通过上述方法，补全装置可以利用该模态信息组中第二模态信息的特征向量确定该第一模态信息的目标特征向量，利用第二模态信息的特征向量确定的该第一模态信息的目标特征向量更贴近第一模态信息真实的特征向量，保证了第一模态信息的目标特征向量的准确性。

在一种可能的实现方式中，补全装置在基于预设的特性向量映射关系，根据第二模态信息的特征向量确定第一模态信息的目标特征向量时，可以先基于特性向量映射关系，根据第二模态信息的特征向量确定第一模态信息的候选特征向量；之后，再根据第一模态信息的候选特征向量确定第一模态信息的目标特征向量。例如，补全装置可以对第一模态信息的候选特征向量进行调整，将调整后的第一模态信息的候选特征向量作为第一模态信息的目标特征向量，也可以直接将该第一模态信息的候选特征向量直接作为第一模态信息的目标特征向量。