[发明专利]基于视频的人体交互动作识别方法

权利要求书

1.一种基于视频的人体交互动作识别方法，其特征在于，包括以下步骤：

S1：对输入的视频帧图像进行处理，采用帧间差分法进行运动目标检测，检测公式为：

D_t(x,y)＝|I_t(x,y)-I_t-1(x,y)|，

其中，x,y表示图像中横纵坐标位置，D_t(x,y)表示帧差图像中(x,y)点的像素值，I_t(x,y)表示t时刻图像(x,y)点的像素值，I_t-1(x,y)表示t-1时刻图像(x,y)点的像素值，R_t(x,y)表示检测结果，值为1表示图像(x,y)点为运动目标，值为0表示图像(x,y)点为背景，T表示设定的阈值；

S2：对处理后获得的运动目标进行特征提取；该步骤分别包括以下内容：S21：提取模块用于对处理后获得的运动目标采用局部时空特征与全局光流特征相结合的方式提取人体交互动作特征；S22：对所述光流和时空兴趣点进行描述，形成特征描述子HOF和HOG；S23：通过BP神经网络进行分类，具体为将所述局部时空特征与全局光流特征分别通过一BP神经网络，以获得在某一特征下动作类别的概率矩阵，即得到两个概率矩阵，包括利用局部时空特征进行分类，得到属于每个动作的第一概率矩阵；利用全局光流特征进行分类，得到属于每个动作的第二概率矩阵；

S3：通过对利用不同特征得到的概率矩阵赋予不同权值进行加权求和，以得到融合概率矩阵，从中找到概率最大的动作类别即为该帧的动作类别，分类公式如下：

P＝W_a*P_a+W_b*P_b；

其中P代表该帧的动作类别融合概率，W_a代表特征A的权值，P_a代表通过特征A得到的该帧动作类别概率，W_b代表特征B的权值，P_b代表通过特征B得到的该帧动作类别概率；

重复运行步骤S1、S2和S3，直至人体交互视频处理结束，得到视频序列的分类结果序列，即初始分类序列；

S4：通过将初始分类序列输入到改进的正态分布BP神经网络中，从而获得最终的交互动作分类，实现人体交互动作识别，其中，

所述改进的正态分布BP神经网络为将下式正态分布函数与传统的BP神经网络卷积，

使得输入层不同位置读入的数据对最终的识别起到不同的作用。

2.根据权利要求1所述的基于视频的人体交互动作识别方法，其特征在于，所述光流特征是通过Lucas-Kanade算法来计算的，所述算法是一种两帧差分的光流估计算法，计算两帧在时间t到t+δt之间每个像素点未知的移动，其中t表示某一时刻t，δt表示一个很小的时间变化区域；根据图像序列计算光流的公式如下所示：

f_xu+f_yv+f_t＝0

其中，f_x，f_y，f_t分别表示图像中像素点的灰度沿X,Y,T三个方向的偏导数，u,v分别表示光流的水平方向和垂直方向的移动分量。