[发明专利]一种利用视觉进行非接触式人机交互的系统

权利要求书

1.一种利用视觉进行非接触式人机交互的系统，其特征在于，该系统包括：机器视觉单元、信息处理分析单元和交互信息显示单元，其中机器视觉单元是利用特殊波长的主动光源均匀照射使用者面部，结合配套的敏感相机，持续获得此光照环境下的使用者的面部图像；信息处理分析单元是由使用者面部图像检测出其视线方向，分析其眼动状态并提取出蕴含意图的信息，识别意图信息做出相应的反馈决策；交互信息显示单元是以能给人产生视觉刺激的方式为使用者提供机器人的反馈信息；机器视觉单元将获取的使用者面部图像持续传送至信息处理分析单元，信息处理分析单元又将反馈决策以命令形式发送至交互信息显示单元；

所述信息处理分析单元包括：视线检测模块、状态分析及意图提取模块、决策模块、交互信息产生模块和记忆模块；视线检测模块检测出使用者当前的视线信息，同时将视线信息输送至状态分析及意图提取模块和记忆模块；状态分析及意图提取模块同时连接至视线检测模块和记忆模块，根据视线检测模块传入的使用者当前视线信息和记忆模块传入的历史视线信息，从中提取出使用者当前的意图信息同时输送至决策模块和记忆模块；决策模块同时连接至状态分析及意图提取模块和记忆模块，接收状态分析及意图提取模块传入的使用者当前的意图信息，并同时接收记忆模块传入的历史意图信息和任务管理参量，从中分析出使用者的真正意图做出相应的反馈决策向所述交互信息产生模块发出指令、更新任务管理参量输送至记忆模块；交互信息产生模块连接至决策模块，执行决策模块传入的指令并控制交互信息显示单元的行动；记忆模块同时连接至视线检测模块、状态分析及意图提取模块和决策模块，存储历史视线方向信息、眼动状态信息、历史意图信息和任务管理参量。

2.如权利要求1所述的利用视觉进行非接触式人机交互的系统，其特征在于，所述机器视觉单元包括：两个发出特定波长的近红外光的主动光源，用于均匀地照射使用者的面部；配套相机，用于持续接收使用者面部反射回的由所述光源发出的光线，形成在此光照条件下使用者面部的图像；两个近红外光源对称地分置于相机两侧，且两光源各自的俯仰角度和和转动角度均分别可调，用于更大范围地均匀照射使用者面部，同时与配套相机位于同一活动的平台上形成一个整体，可一起移动和转动。

3.如权利要求1所述的利用视觉进行非接触式人机交互的系统，其特征在于，任务管理参量是以数字形式表示当前任务执行状态的用于为决策提供参考的变量。

4.如权利要求1所述的利用视觉进行非接触式人机交互的系统，其特征在于，视线检测模块是根据机器视觉单元提供的使用者面部图像，利用图像处理方法提取出表征视线方向的参量，利用一个参数可自调整的映射模型将视线方向参量映射成实际视线方向，并利用相应的空间几何模型计算出相应的视线落点位置，将视线方向和落点位置一起作为视线信息同时输送至状态分析及意图提取模块和记忆模块。

5.如权利要求4所述的利用视觉进行非接触式人机交互的系统，其特征在于，参数可自调整的映射模型的参数可根据使用者头部相对于相机的不同位置进行有规律地自调整。

6.如权利要求1所述的利用视觉进行非接触式人机交互的系统，其特征在于，状态分析及意图提取模块是计算视线检测模块传入的当前视线方向与记忆模块输入的历史视线方向的差作为眼动速率用于识别当前眼动状态，滤除无意图信息的眼跳状态，再根据历史视线落点位置分布情况进一步进行鉴别，对确定为注视的状态，计算注视状态时段内所有的视线落点位置均值和方差、还有所有眼动速率的均值和方差及持续注视状态的具体时长，其中视线落点位置均值又称为注视位置，将上述这五个数据共同作为蕴含使用者意图的信息分别输送至决策模块和记忆模块。

7.如权利要求1所述的利用视觉进行非接触式人机交互的系统，其特征在于，决策模块是根据状态分析及意图提取模块传入的当前意图信息中包含的注视位置进行有效性判别，判别为无效的认为是非眼动命令，判别为有效的认为是眼动命令，并针对两不同判别结果进行第一层分类决策；根据状态分析及意图提取模块传入的当前意图信息和记忆模块传入的历史意图信息计算当前意图与历史意图的位置关联度和状态持续度，通过对这两个指标的测评进行第二层分类决策；再结合记忆模块传入的任务管理参量进行第三层分类决策；最终将相应的响应策略分为三种：响应、半响应和不响应，根据不同响应策略向交互信息产生模块发出指令，同时更新任务管理参量传输至记忆模块。