[发明专利]一种基于视线追踪的实时人机交互系统及其工作方法

权利要求书

1.一种基于视线追踪的实时人机交互系统，其特征在于：包括数据采集组件、数据分析处理组件、动作反馈组件和通信及操控组件；

所述数据采集组件用于追踪用户的面部特征信息，并转换成数据信号输入系统中，同时根据面部特征信息分别建立二维坐标系和三维坐标系；

所述数据分析处理组件与数据采集组件连接，用于对数据采集组件追踪的信息进行分析处理；

所述动作反馈组件与数据分析处理组件连接，用于对比分析数据分析处理组件处理的信息以及动作反馈组件中储存的信息，并得到反馈信息反馈给通信及操控组件，以判定通信及操控组件的操控动作；

所述通信及操控组件与动作反馈组件连接，用于接受动作反馈组件提供的反馈信息，并根据反馈信息控制相应设备的动作。

2.根据权利要求1所述的基于视线追踪的实时人机交互系统，其特征在于：所述数据采集组件包括多个设置在同一空间不同位置的摄像头，使其可捕获不同角度的同一空间环境的图像信息。

3.根据权利要求1所述的基于视线追踪的实时人机交互系统，其特征在于：所述数据分析处理组件包括图像处理模块和面部特征识点定位模块，其中，

所述图像处理模块用于实时对每帧图像进行预处理；

面部特征识点定位模块用于识别预处理完成的图像中的用户面部及用户瞳孔坐标点和眼部内外角点，并储存由多帧图像组成的视频流，通过视频流识别用户的面部特征点的变化和视觉注意力的改变。

4.根据权利要求3所述的基于视线追踪的实时人机交互系统，其特征在于：所述图像处理模块对每帧图像的预处理，包括但不限于：将多张图像合成为全景图片、灰度处理、高斯模糊、二值化处理，以为之后的识别做准备。

5.据权利要求3所述的基于视线追踪的实时人机交互系统，其特征在于：所述面部特征识点定位模块内设置有多种算法，以用于识别用户的面部特征点的变化和视觉注意力的改变，实现对用户视觉注意目标的实时追踪。

6.根据权利要求1所述的基于视线追踪的实时人机交互系统，其特征在于：所述动作反馈组件包括面部特征点数据库模块和视觉注意力数据库模块，其中，面部特征点数据库模块中保存有用户预设的一系列对应特定意义的面部特征动作；视觉注意力数据库模块中保存有用户预设的在一固定空间环境中一系列的特殊视线注意力点，所述特殊视线注意力点在固定空间环境中以三维坐标点和人脸的绝对朝向角度储存。

7.根据权利要求1所述的基于视线追踪的实时人机交互系统，其特征在于：所述通信及操控组件包括Wi-Fi模块、蓝牙通信模块、红外发射模块中的任意一种或任意几种。

8.一种基于上述任一项所述的基于视线追踪的实时人机交互系统的工作方法，其特征在于，包括如下步骤：

S1：数据采集并建立坐标系：数据采集组件追踪用户的面部特征信息，并转换成数据信号；根据面部特征信息分别建立以用户面部平面为基准建立的二维坐标系和以用户所在空间环境位置为基准点建立的三维坐标系；

S2：数据分析：数据分析处理组件对数据采集组件追踪的信息进行分析处理；

S3：对比判定：动作反馈组件对比分析数据分析处理组件处理的信息以及动作反馈组件中储存的信息，根据对比结果输出不同结果至通信及操控组件；

S4：通信及操控组件根据动作反馈组件输入的特定动作，控制相应设备进行相应操作。

9.根据权利要求8所述的基于视线追踪的实时人机交互系统的工作方法，其特征在于：步骤S1中，通过数据采集组件中的多个设置在同一空间不同位置的摄像头拍摄多张不同角度的空间环境信息图片，作为面部特征信息。

10.根据权利要求9所述的基于视线追踪的实时人机交互系统的工作方法，其特征在于：步骤S2包括：

S21：数据分析处理组件中的图像处理模块将多张不同角度拍摄的空间环境信息图片通过算法合成为一张空间环境信息全景图片并做相应图片预处理；

S22：所述数据分析处理组件中的面部特征识点定位模块对S21合成的全景图片做面部特征点定位，并储存进缓存临时保存。