[发明专利]一种基于视频序列深度学习的人物行为语义识别方法

说明书

技术领域

本发明涉及图像处理技术领域，特别是一种基于视频序列深度学习的人物行为语义识别方法。

背景技术

图像处理技术是指用计算机对图像进行分析，以达到所需结果的技术，一般指数字图像处理。数字图像指用拍摄设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。利用图像压缩技术能将二维像素阵列以一维的特征向量来表示，从而大大的减少了对图像运算所需的时间。

RBF神经网络是人工神经网络的一种，是一种对人脑神经元进行抽象的运算模型，有大量的结点(神经元)之间相互连接构成。每个节点代表一个特定的输出函数，称为激励函数。每两个节点间的连接都代表一个对于通过该连接的加权值，称为权重，这相当于神经网络的记忆。RBF神经网络通过训练来修改权值等参数，使目标函数不断逼近最小或最大值，从而达到识别的效果。

目前的计算机视觉技术很难准确地从视频中提取出人的运动特征，如何寻找到人物动作的特征值成为识别正确性的关键。人物轮廓特征比较容易获得且对纹理变化不敏感，是作为神经网络训练的一个不错的选择，但目前基于质心-边界距离描述方法，星型骨架发等方法提取到的轮廓特征对质心依赖性较高，导致其对遮挡、数据丢失以及形变等情况鲁棒性交差。

发明内容

本发明所要解决的技术问题是克服现有技术的不足而提供一种基于视频序列深度学习的人物行为语义识别方法，利用人物轮廓的特征对RBF神经网络进行训练和检测，对检测结果进行编码并将关键姿态串联成编码序列与动作库作比对，从而对人物行为语义进行识别。

本发明为解决上述技术问题采用以下技术方案：

根据本发明提出的一种基于视频序列深度学习的人物行为语义识别方法，包括以下步骤：

步骤1、定义视频镜头S＝{f₁,f₂,...,f_n},S为集合，f_i为第i个镜头帧，f_i用大小为r*l的二维矩阵表示，其中，i＝1,2,...,n，n为镜头帧总数，r为矩阵行数，l为矩阵列数；

建立运动分析模型，提取S中的子集K＝{k₁,k₂,...,k_m}，k_q为K中第q个元素，q＝1,2,...,m,m为K的元素个数且m＜n，提取K的具体步骤如下：

步骤11)定义d(f_i)为矩阵f_i中不为0的元素的个数，令k＝k₁＝f₁，q＝i＝2，k为临时变量；

步骤12)计算f_i与k之间的差异值O＝d(k-f_i)/(r*l)*100％，若O＞δ，δ为差异阈值，则k＝k_q＝f_i，q＝q+1，i＝i+1；若O≤δ，则i＝i+1；

步骤13)重复步骤12)直到q＝m或i＝n为止；

步骤2、对子集K进行预处理获得运动前景，具体步骤如下：

定义背景模型为μ，当前画面为x，对x中的每个像素点j，计算D(j)＝x(j)-μ(j)；若D(j)≥λε(j),则判定j为前景点；若D(j)＜λε(j),则判定j为背景点，其中，x(j)为当前画面x第j个像素点的色彩值，μ(j)为背景模型μ第j个点的像素值，λ为调节参数，ε(j)为色差阈值；

步骤3、对步骤2得到的运动前景进行边缘检测，得到只含人物外轮廓的图像；

步骤4、采用傅里叶描述子提取轮廓特征，用一维特征表示二维轮廓；具体步骤如下：

步骤41)将人物外轮廓的图像上的有序点集(x_t,y_t)转换到复平面上，形成一维序列z_t＝x_t+vy_t,t＝1,2,...,N，t代表人物外轮廓上第t个像素点，(x_t,y_t)为该像素点的横坐标和纵坐标，N为轮廓像素总个数，v为虚数单位；

步骤42)计算离散傅里叶变换：g＝1,2,3,...,N，其中，a_g代表第g个傅里叶系数；将得到的傅里叶系数归一化作为动作特征的描述子

步骤5、预定义期望输出值d，将步骤4)计算出的特征向量ft和d作为RBF神经网络的输入值对网络进行训练；构建RBF神经网络的具体步骤如下：