[发明专利]一种多源数据融合人机交互任务在线加速方法与系统

说明书

一种多源数据融合人机交互任务在线加速方法与系统，属于人机交互领域。本发明通过多种类传感器的布设，提供多种交互方式，提高自适应能力和高可靠性；通过任务自适应的多源数据融合方法，对获取的多源感知信号进行特征参量提取，并依据融合判别准则进行数据融合，降低不确定条件下多模人机交互任务对多种信息处理的时间，避免交互指令冗余，提高响应速度；结合融合参数在线更新方法，通过多步提前预测融合参数，实时修正与更新融合参数，解决多模人机交互数据无法在线融合且预测准确率低的问题。本发明适用于人机交互、自动驾驶、医疗诊断等领域，用于提高多源传感器数据预测结果的准确率以及各类不确定条件下人机交互的可靠性。

技术领域

本发明涉及一种多源数据融合人机交互任务在线加速方法与系统，属于人机交互领域。

背景技术

人机交互技术已经被应用到医疗康复、智慧教育、物联网、军事等多个领域，通过声音、动作或生物电信号实现与系统的信息交流与认知，推动了传统应用向智能化的转变。人机交互的感知方式也越来越多，例如语音交互、情感交互、体感交互、脑机交互等，涉及到触觉、视觉和听觉等多种信息。多模人机交互获取的数据类型多样，主要包括如下类型：(1)一维数据：如语音、脉搏、心率等时间序列数据；(2)二维数据：如人脸、指纹、虹膜、表情、手势等图像数据；(3)高维数据：如脑电、脑血氧、肌肉电等复杂生理数据。

在人机交互过程中存在各类干扰问题，导致所产生的数据存在缺失、噪声、互斥等问题，使得指令执行、决策判别和任务反馈等存在时延较高、可靠性不确定的挑战。以多模态人机交互的辅助轮椅运动任务为例，配备脑电和语音等多种传感器涉及到多源信息的分析与处理。由于数据自身生成、传感器传输或识别速度较慢(如脑电信号)导致的人机交互任务延迟、多类信息难协同，在各类不确定条件下语音表达或脑电信号易受到干扰等难以生成有效指令等问题目前尚未得到有效解决。在现有感知能力的基础上，通过软件算法提升交互决策的实时性，其核心问题是多源感知设备的数据融合方法，包括数据预处理、融合算法、融合参数标定等具体内容。目前，多源信息融合方法研究较多，主要研究方向包括像素级、特征级和决策级融合。

以任务自适应、低延迟执行、群组协同、信息管理为代表的多源感知人机交互应用需完成特征或决策级数据融合。已有相关研究将人的脑电、心电和肌电信号进行决策级融合用于对人疲劳的评估；一种基于前臂表面肌电信号和惯性信息融合的人机交互方式被提出，用于机器人运动意图的预判；研究人员将脑电和眼动信号进行融合处理，实现对人机交互意图的判断。然而，上述研究工作需要依赖历史数据集进行离线训练，对不同使用者适用性较差,尚未实现多源数据的在线融合，存在数据分析延迟较高、可靠性差和交互方式受限等问题。因此，一种高效、可靠的多源数据融合人机交互任务在线加速方法与系统对人机交互技术的发展具有重要作用。

发明内容

针对现有技术尚未实现多源数据的在线融合，存在交互方式受限、数据分析延迟较高、可靠性差的问题，本发明的主要目的是提出一种多源数据融合人机交互任务在线加速方法与系统，通过一种任务自适应的多源数据融合框架及融合参数在线更新方法，提高多源传感器数据预测结果的准确率以及各类不确定条件下人机交互的可靠性。

本发明的目的是通过以下技术方案实现的：

本发明公开的一种多源数据融合人机交互任务在线加速方法与系统，通过多种类传感器的布设，获取人机交互过程中所需的、多场景下的、多种生理或心理的感知数据，不同于一般的人机交互，能够提供多种交互方式，对于各种不确定条件，都具有高自适应能力和高可靠性；然后通过一种任务自适应的多源数据融合方法，对获取的多源感知信号进行特征参量提取，并依据融合判别准则决定是否进行数据融合，降低不确定条件下多模人机交互任务对多种信息处理的时间，解决交互指令冗余的问题，有利于多类型交互感知数据的分析与决策，提高响应速度；同时，结合一种融合参数在线更新方法，通过多步提前预测融合参数，实时修正与更新融合参数，解决多模人机交互数据无法在线融合且预测准确率低的问题，提高多源传感器数据预测结果的准确率以及各类不确定条件下人机交互的可靠性。