[发明专利]一种基于贝叶斯定理和自适应权值调整的多模态数据融合方法

说明书

本发明公开了一种基于贝叶斯定理和自适应权值调整的多模态数据融合方法，步骤包括：进行多次交互实验并采集数据，以此计算得出贝叶斯定理的先验概率。在实际交互过程中，实时利用实际交互点与预设交互范围中心点的距离考察实时交互效果，将上述距离因素融入自适应参数作为多模态数据融合的自适应权值；利用贝叶斯定理，结合各模态的实际交互情况给出贝叶斯权值，对交互结果作进一步的调整。本发明方法从交互过程和交互结果两个角度综合调整多模态数据的决策融合权重，提高了基于多模态融合的人机交互过程的准确性及鲁棒性。

技术领域

本发明涉及多模态数据融合领域，具体涉及到一种基于贝叶斯定理和自适应权值调整的多模态数据融合方法，其优越性在于更加合理分配各模态数据的比重，进而提高交互的准确性。

背景技术

多模态融合负责联合多个模态的信息，进行目标预测(分类或者回归)，属于MMML(MultiModal Machine Learning，多模态机器学习)最早的研究方向之一，也是目前应用最广的方向。按照融合的层次，可以将多模态融合分为pixel level(像素级)，feature level(特征级)和decision level(决策级)三类，分别对应对原始数据进行融合、对抽象的特征进行融合和对决策结果进行融合。而特征级融合又可以分为早期融合和晚期融合两大类，代表了融合发生在特征抽取的早期和晚期，还有将多种融合层次混合的hybrid(混合)方法。

本发明提出的融合模型属于后端融合即决策融合，后端融合则是将不同模态数据分别训练好的分类器输出决策概率进行融合。这样做的好处是，融合模型的错误来自不同的分类器，而来自不同分类器的错误往往互不相关、互不影响，不会造成错误的进一步累加。常见的后端融合方式包括最大值融合(max-fusion)、平均值融合(averaged-fusion)、贝叶斯规则融合(Bayes’rule based)以及集成学习(ensemble learning)等，对后端融合选取合适的权值以提高数据融合结构的鲁棒性也是研究的热点问题。

融合模型主要依靠贝叶斯定理和交互质量评价为融合过程提供合适的权重。整个系统的贡献在于提供了一种整合声音模态、人体姿态模态(即手指指向和面部朝向两种信息)两个模态信息的方法，相较于单一模态的人机交互，多模态数据在人机交互中具有更高的鲁棒性，不同模态数据之间可以互相校正。

发明内容

本发明将综合考察不同模态评估结果的贝叶斯定理及动态考察各模态交互质量的自适应权值融入多模态数据决策融合框架。通过分析各模态判断结果正误对整个交互过程的影响，运用贝叶斯定理综合考虑两种模态给出的结果，借此赋予各个模态相应的决策系数。自适应权值通过考察两个视频模态(手指指向及面部朝向)的交互效果给出，目的是给表现更优秀的模态以更高的权重来提升交互系统的鲁棒性。交互效果体现在视频帧中具体物理交互指向与预定交互目标中心的几何距离，赋予距离更近的交互目标以更大的权重能进一步提升交互准确率。

具体发明内容为：一种基于贝叶斯公定理自适应参数调整的多模态数据后端决策融合方法，包括以下步骤：

步骤1：依据原始模型进行多次获取贝叶斯公式的先验概率；

步骤1.1：选取合适的视频帧判断交互者的手指指向和面部朝向；

步骤1.2：针对于手指指向模态被选取的每一个视频帧，判断出该帧中确定的手指交互点，并给出一个长度为交互点个数N的决策向量，决策向量的形式如下：

t_pt(i)＝[t₁,t₂,...,t_j,...,t_N]^T，

步骤1.3：将给出的对应手指方向模态的决策向量相加得到决策概率：

其中F_p为选取的视频帧的数量，