[发明专利]一种基于参考区域和时域信息的人机交互方法及系统

权利要求书

1.一种基于参考区域和时域信息的人机交互方法，其特征在于，包括步骤：

A、通过摄像头采集人体图像，以人脸为参照物体，采用参考区域自适应选择算法将参考区域自适应地选择在人脸区域侧的某个区域，并获取参考区域RGB彩色图像；

B、获取步骤A中参考区域RGB彩色图像的相邻帧差图像；

C、根据步骤B获取的相邻帧差图像计算二维空间参考区域内人体的运动特征，通过计算参考区域RGB彩色图像在某时域内的运动特征，计算出时域运动特征向量；

D、将步骤C中计算出的运动特征向量与预定动作类型模版特征库中的动作类型模版进行特征比对，计算运动特征向量与动作类型模版的相似度；

E、根据步骤D计算相似度获得的结果对参考区域内的人体运动进行判断，最后输出动作事件标准数据，供外层应用程序调用。

2.根据权利要求1所述基于参考区域和时域信息的人机交互方法，其特征在于，所述步骤A具体包括如下步骤：

A1、计算通过摄像头采集到的人体图像的积分图，提取该人体图像的类矩形特征，根据预定的分类器特征库，运行cascade级联的方法在该人体图像中搜索人脸区域；

A2、以人脸为参照物体，采用参考区域自适应选择算法将参考区域自适应地选择在人脸区域侧的某个区域，计算参考区域RGB彩色图像的位置及大小:                                               ，其中、P是包含参考区域RGB彩色图像中心点横坐标、纵坐标、宽度和高度的向量，T是映射函数，自变量分别表示输入人脸区域的中心位置横坐标、纵坐标、宽度和高度。

3.根据权利要求2所述基于参考区域和时域信息的人机交互方法，其特征在于，所述步骤A1中的预定的分类器特征库包括如下步骤：

A11、计算所述人体图像的积分图，提取所述人体图像的类矩形特征；

A12、根据Adaboost算法筛选有效的特征，构成弱分类器；

A13、通过组合多个弱分类器，构成强分类器；

A14、级联多个强分类器，形成人脸检测的分类器特征库。

4.根据权利要求1所述基于参考区域和时域信息的人机交互方法，其特征在于，所述步骤B具体包括如下步骤：

B1、将所述参考区域RGB彩色图像通过如下公式：

           

进行灰度化处理；其中x 、y 为所述参考区域RGB彩色图像中任意像素点的横坐标和纵坐标，f(x,y)表示灰度图像，其值在0~255之间；

B2、通过公式：，其中、分别为相邻前后帧像素点的灰度值, 为设定的变化阈值，来计算相邻帧差图像中任意像素的运动变化值，该值为1的像素表示有运动点，为0的像素表示没有运动点。

5.根据权利要求4所述基于参考区域和时域信息的人机交互方法，其特征在于，所述步骤C中的统计二维空间运动特征具体包括：

C11、根据步骤B2中相邻帧差图像所述运动变化值计算运动点个数，计算公式为，其中W、H分别表示相邻帧差图像的宽和高；

C12、根据步骤C11中相邻帧差图像的运动点个数来计算运动质心位置，计算公式为,；

C13、设定时域窗N，记录连续N帧参考区域RGB彩色图像的信息；

C14、根据步骤C12，计算参考区域RGB彩色图像的运动特征值，计算公式为，该v值表示了参考区域RGB彩色图像内人体动作在某个时刻的运动状态；然后计算时域运动特征向量：，定义i=1~N，i为自然数，则表示第i帧运动特征值。

6.根据权利要求5所述基于参考区域和时域信息的人机交互方法，其特征在于，所述步骤D包括：

D1、预定义K个动作类型模版T_i，其中i=1~K，i为自然数；

D2、利用绝对值距离来计算步骤C14得到的运动特征向量V与动作类型模版的相似度；

D3、如果，且<TH，TH为预设阈值，则该动作类型归属为第k类;如果不满足则不属于任何类。