[发明专利]一种基于视频序列深度学习的人物行为语义识别方法

权利要求书

1.一种基于视频序列深度学习的人物行为语义识别方法，其特征在于，包括以下步骤：

步骤1、定义视频镜头S＝{f₁,f₂,...,f_n},S为集合，f_i为第i个镜头帧，f_i用大小为r*l的二维矩阵表示，其中，i＝1,2,...,n，n为镜头帧总数，r为矩阵行数，l为矩阵列数；

建立运动分析模型，提取S中的子集K＝{k₁,k₂,...,k_m}，k_q为K中第q个元素，q＝1,2,...,m,m为K的元素个数且m＜n，提取K的具体步骤如下：

步骤11)定义d(f_i)为矩阵f_i中不为0的元素的个数，令k＝k₁＝f₁，q＝i＝2，k为临时变量；

步骤12)计算f_i与k之间的差异值O＝d(k-f_i)/(r*l)*100％，若O＞δ，δ为差异阈值，则k＝k_q＝f_i，q＝q+1，i＝i+1；若O≤δ，则i＝i+1；

步骤13)重复步骤12)直到q＝m或i＝n为止；

步骤2、对子集K进行预处理获得运动前景，具体步骤如下：

定义背景模型为μ，当前画面为x，对x中的每个像素点j，计算D(j)＝x(j)-μ(j)；若D(j)≥λε(j),则判定j为前景点；若D(j)＜λε(j),则判定j为背景点，其中，x(j)为当前画面x第j个像素点的色彩值，μ(j)为背景模型μ第j个点的像素值，λ为调节参数，ε(j)为色差阈值；

步骤3、对步骤2得到的运动前景进行边缘检测，得到只含人物外轮廓的图像；

步骤4、采用傅里叶描述子提取轮廓特征，用一维特征表示二维轮廓；具体步骤如下：

步骤41)将人物外轮廓的图像上的有序点集(x_t,y_t)转换到复平面上，形成一维序列z_t＝x_t+vy_t,t＝1,2,...,N，t代表人物外轮廓上第t个像素点，(x_t,y_t)为该像素点的横坐标和纵坐标，N为轮廓像素总个数，v为虚数单位；

步骤42)计算离散傅里叶变换：其中，a_g代表第g个傅里叶系数；将得到的傅里叶系数归一化作为动作特征的描述子

步骤5、预定义期望输出值d，将步骤4)计算出的特征向量ft和d作为RBF神经网络的输入值对网络进行训练；构建RBF神经网络的具体步骤如下：

步骤51)用随机函数随机初始化径向基函数中心c_g，方差σ_g和隐含层到输出层的权值w_g，计算输出值ft_g代表集合ft中第g个元素；

步骤52)计算步骤51)中的输出值y_d和预定义期望输出值d的均方误差定义误差阈值γ，若E＞γ，则调整参数如下：

1

其中，F为高斯核函数；η为神经网络学习速率；y_ii代表第ii个神经元的输出值；

步骤53)重复步骤52)直到E≤γ,RBF神经网络训练结束，该网络包含确定的参数c_g，方差σ_g和权值w_g；

步骤6、对视频序列识别出的结果进行编码，利用RBF神经网络进行人物行为识别，具体步骤如下：

步骤61)结合步骤1-4，得到集合K′＝{f₁′,f₂′,...,f_m′}，f_q′为k_q对应的特征向量，利用步骤5)训练得到的RBF神经网络对K′进行识别并得到编码序列T＝{t₁,t₂,...,t_m}，t_q为f_q′经过RBF神经网络预测得到的编码；

步骤62)利用步骤61)得到的编码序列T对动作库中已存在的编码作比对，找到序列T所对应的动作即为识别结果。