[发明专利]一种基于视频序列深度学习的人物行为语义识别方法

摘要

本发明公开了一种基于视频序列深度学习的人物行为语义识别方法，该方法提出了一种运动分析模型提取视频关键帧，并通过人体的外轮廓作为特征值，结合RBF神经网络对人物行为语义进行识别。本发明方法可以解决对一个视频流中人物动作的识别，能够有效弱化光照变化和颜色的影响。

主权项

一种基于视频序列深度学习的人物行为语义识别方法，其特征在于，包括以下步骤：步骤1、定义视频镜头S＝{f1,f2,...,fn},S为集合，fi为第i个镜头帧，fi用大小为r*l的二维矩阵表示，其中，i＝1,2,...,n，n为镜头帧总数，r为矩阵行数，l为矩阵列数；建立运动分析模型，提取S中的子集K＝{k1,k2,...,km}，kq为K中第q个元素，q＝1,2,...,m,m为K的元素个数且m＜n，提取K的具体步骤如下：步骤11)定义d(fi)为矩阵fi中不为0的元素的个数，令k＝k1＝f1，q＝i＝2，k为临时变量；步骤12)计算fi与k之间的差异值O＝d(k‑fi)/(r*l)*100％，若O＞δ，δ为差异阈值，则k＝kq＝fi，q＝q+1，i＝i+1；若O≤δ，则i＝i+1；步骤13)重复步骤12)直到q＝m或i＝n为止；步骤2、对子集K进行预处理获得运动前景，具体步骤如下：定义背景模型为μ，当前画面为x，对x中的每个像素点j，计算D(j)＝x(j)‑μ(j)；若D(j)≥λε(j),则判定j为前景点；若D(j)＜λε(j),则判定j为背景点，其中，x(j)为当前画面x第j个像素点的色彩值，μ(j)为背景模型μ第j个点的像素值，λ为调节参数，ε(j)为色差阈值；步骤3、对步骤2得到的运动前景进行边缘检测，得到只含人物外轮廓的图像；步骤4、采用傅里叶描述子提取轮廓特征，用一维特征表示二维轮廓；具体步骤如下：步骤41)将人物外轮廓的图像上的有序点集(xt,yt)转换到复平面上，形成一维序列zt＝xt+vyt,t＝1,2,...,N，t代表人物外轮廓上第t个像素点，(xt,yt)为该像素点的横坐标和纵坐标，N为轮廓像素总个数，v为虚数单位；步骤42)计算离散傅里叶变换：其中，ag代表第g个傅里叶系数；将得到的傅里叶系数归一化作为动作特征的描述子步骤5、预定义期望输出值d，将步骤4)计算出的特征向量ft和d作为RBF神经网络的输入值对网络进行训练；构建RBF神经网络的具体步骤如下：步骤51)用随机函数随机初始化径向基函数中心cg，方差σg和隐含层到输出层的权值wg，计算输出值ftg代表集合ft中第g个元素；步骤52)计算步骤51)中的输出值yd和预定义期望输出值d的均方误差定义误差阈值γ，若E＞γ，则调整参数如下：cg=cg-ηwgσg2Σii=1Nyii*G(||F-cg||)(F-cg)]]>σg=σg-ηwgσg3Σii=1Nyii*G(||F-cg||)||F-cg||2]]>wg=wg-ηΣii=1Nyii*G(||F-cg||)]]>其中，F为高斯核函数；η为神经网络学习速率；yii代表第ii个神经元的输出值；步骤53)重复步骤52)直到E≤γ,RBF神经网络训练结束，该网络包含确定的参数cg，方差σg和权值wg；步骤6、对视频序列识别出的结果进行编码，利用RBF神经网络进行人物行为识别，具体步骤如下：步骤61)结合步骤1‑4，得到集合K′＝{f1′,f2′,...,fm′}，fq′为kq对应的特征向量，利用步骤5)训练得到的RBF神经网络对K′进行识别并得到编码序列T＝{t1,t2,...,tm}，tq为fq′经过RBF神经网络预测得到的编码；步骤62)利用步骤61)得到的编码序列T对动作库中已存在的编码作比对，找到序列T所对应的动作即为识别结果。