[发明专利]使人机接口设备个性化的系统、方法与计算机可读介质

说明书

使人机接口设备个性化的系统、方法与计算机可读介质。描述了一种基于用户的精神和身体状态来使人机接口(HMI)设备个性化的系统。在模拟环境中执行任务期间，所述系统从采集自身体传感器的数据提取生物特征，并且从脑电图(EEG)信号提取脑熵特征。将所述脑熵特征与所述生物特征相关联，以生成精神状态模型。在操作环境中执行所述任务期间，在HMI设备中部署所述精神状态模型，以使所述HMI设备连续适应其用户的精神和身体状态。

相关申请的交叉引用

这是2018年1月22日在美国提交的、题为“Neuro-Adaptive Body Sensing forUser States Framework(NABSUS)”的美国临时申请No.62/620,357的非临时申请，该临时申请的全部内容通过引用并入于此。

本申请也是2018年11月14日在美国提交的、题为“Neuro-Adaptive Body Sensingfor User States Framework(NABSUS)”的美国临时申请No.62/767,276的非临时申请，该临时申请的全部内容通过引用并入于此。

技术领域

本发明涉及用于使人机接口设备个性化的系统，更具体地，涉及用于使这样的人机接口设备个性化的系统：该人机接口设备利用来自用户的生物信号以使其适应用户。

背景技术

当前，没有能够评估操作者/用户在处理人机接口(HMI)时所处的认知控制水平的可靠工具(参见并入参考文献列表中的参考文献No.1)。HMI是能够处理人机交互的设备的组件(例如，附接到用户的传感器、提取有用信息的处理单元、向用户显示输出的显示器)。该接口由允许将用户输入转化为向用户提供所需结果的机器的信号的硬件和软件组成。

一些HMI设计利用了调查表，例如NASA任务负荷指数(NASA-TLX)，这是一种对感知到的工作量进行评分以便评估任务、系统、用户或团队的效率或其它表现方面的主观的多维评估工具。人们认为在HMI设计中使用调查表(例如NASA TLX)不足以理解用户认知和情绪状态中的某些形式的动态信息。

研究人员还使用脑电图(EEG)信号来控制HMI并提取用户的精神状态(见参考文献No.1和No.3)。然而，即使使用当前技术的“易用帽(easy-cap)”和干电极技术，EEG采集对于不喜欢佩戴EEG帽的用户也不方便(可用性因素)。此外，当前的HMI上下文相关的，并且该接口不能推广到其它操作上下文。在操作上下文中提取有用的EEG特征有时需要大量的数据清理和预处理步骤，并且主要依赖于事件相关电位(ERP)信号，而不是连续记录EEG(见参考文献No.4)。

此外，心率变异性(HRV)传感器和皮电反应(GSR)传感器已用于检测精神、认知和身体状态，例如压力和身体活动(见参考文献No.5、No.6和No.7)。然而，使用这些信号的准确性存在局限性，因为不同上下文中的不同认知状态可能会产生相似的HRV/GSR输出，这使得难以区分不同水平的认知负荷。

尽管生物信号中有丰富的信息内容(例如HRV和GSR)，但尚未将其与EEG融合，因此当前基于EEG的HMI中的设计(例如ARL-HRED提出的一种设计)(见参考文献No.3)缺乏通用且鲁棒的特征(在EEG质量下降的情况下)，特别是在动态上下文中。大多数最新研究仅在实验室环境中进行了测试，而未在操作现场中进行过测试。此外，这些研究仅限于在某些条件下有效，例如EEG信号的高信噪比，这在操作情境下不切实际。例如，要求战场上的士兵戴上EEG头戴装置(即使电极很少)是不切实际的，因为该头戴装置很重并且很容易受到噪声(例如运动伪影)的影响。当前，现有技术缺乏使以用户为中心的HMI个性化的能力。