[发明专利]一种基于深度学习的肢体语言检测与行为分析方法及系统

权利要求书

1.一种基于深度学习的肢体语言检测与行为分析方法，其特征是包括以下步骤：

步骤1、制作训练集：对行为情感逻辑建模，丰富数据集，予以标注后制作成训练集；

步骤1-1、对目标的日常行为视频、图片以及语音进行提取，分别获取目标在不同情绪下的面部表情以及四肢行为的图片及视频，获取在相应情绪下的语音数据，丰富数据集，予以标注后制作成训练集；

步骤1-2、使用图片及视频帧数据训练CNN模型，所述图片及视频帧数据的关键点为面部表情，头部动作，四肢动作，整体动作频率，利用这4点训练所述CNN模型；

将原图片和视频帧数据转化为Ycbcr图像，提取其亮度通道Y_L，将该通道Y_L进行下采样得到单通道图像Y_L′；对亮度通道Y_L进行相邻插值运算，得到插值图像Y_Lc，对亮度通道Y_L进行强度为0.8的锐化得出锐化图像Y_LR，最终将单通道图像Y_L′、插值图像Y_Lc、锐化图像Y_LR以0.8：0.9：1.1的比率混合形成多通道图像Y_m；图片和视频帧数据通过卷积运算，从而将所述CNN模型分割为输入层、卷积层、输出层，其中，输入层的大小为n×n，通道数为12；卷积层为两层，分别记为C1层和C2层，其中，C1层的卷积特征图为128个，其尺寸为(n-8+1)×(n-8+1)；由每个8×8的卷积核对输入图像进行内卷积，并对卷积结果进行第一次激活：

F_c1＝max(0，W₁×Y_m+B₁)

式中，F_c1表示第一层卷积层C1的激活函数，Y_m表示多通道图像，B₁表示第一层卷积层C1的比率因子，W₁表示第一层卷积层C1的放大因子；

C2层的卷积特征图为128个，其尺寸为(n-16)×(n-16)，将经过C1层的输出量作为变量输入到C2层，使用128个卷积核对C2层中的数据进行卷积运算，并对卷积结果进行第二次激活：

式中，F_c2表示第二层卷积层C2的激活函数，B₂表示第二层卷积层C2的比率因子，W₂表示第二层卷积层C2的放大因子；

构造超分辨重构模型，采用均方误差作为损失函数：

式中，表示高分辨率图像块，Y_L表示亮度通道，N表示抽取图像块的数量，K₀表示调节系数；

步骤1-3、使用语音数据训练LSTM，最后将两个模型进行集成训练，合成集成模型，最终会产生3个模型，保证模型支持语音或图片单独检测的能力；

步骤2、肢体语言检测及行为分析：通过视频拍摄装置获取目标生物的视频语音片段，将其作为模型的输入，执行分类任务；

通过视频拍摄装置获取目标生物的视频语音片段，视频与语音需要同步输入，针对不同的输入使用不同的模型，将视频拍摄装置获取到的目标生物的视频片段与训练集中的图片及视频帧数据比对，对每个像素点上使用差分算子为(-1，0，1)在垂直和水平方向进行运算，计算其梯度值和梯度方向：

梯度方向：

式中，G_x表示图像沿x方向的梯度，G_y表示图像沿y方向的梯度，表示最大变化率方向上的单位距离增加的量，T表示梯度参数；

梯度值：

步骤3、行为应对指导：抓取网络数据，将步骤2中的结果与步骤1中训练集中的数据集的输出序列进行比对，若插值小于阈值，则判定为属于被比对对象的行为，将结果通过图形界面反馈给用户；若插值大于阈值，则将步骤2中的结果记录在数据集中并做好标记。

2.根据权利要求1所述的一种基于深度学习的肢体语言检测与行为分析方法，其特征在于，所述步骤1-1进一步包括：

提取出模型特征作为训练样本，计算输入量与输出量之间关联性的估计函数，训练系统对于不同输出量的预测能力：

式中，ω表示广义参数，h表示所预测的函数集的最大训练能力，n为训练样本，η∈[0，1]，R(ω)表示期望风险。

3.根据权利要求1所述的一种基于深度学习的肢体语言检测与行为分析方法，其特征在于，所述步骤1-3进一步包括：

使用LSTM结构输出序列S：

式中，A表示状态转移概率矩阵，表示A从状态y_i转移到状态y_i+1所需要的状态转移概率，T*k表示输出矩阵的大小，其中，T表示序列的长度，k表示标签的数量；h^(t)表示深度神经网络上一层时刻t输入数据时的隐藏状态；b_s表示输出序列S的偏置值；

采用高斯-伯努利模型对语音数据进行处理，其能量函数定义如下：

式中，v_i表示第i个可视层神经元，h_j表示第j个隐层神经元，w_ij表示连接权值，a_i表示对应于可视层神经元的偏置值，b_j表示对应于第j个隐层神经元的偏置值，σ_i表示高斯噪声标准差，表示学习率；

对能量函数进行激活概率计算：

式中，p(h，θ)表示可视层神经元的激活概率，p(v，θ)表示隐层神经元的激活概率，其余各符号含义同上；

为求得每层的模型连接参数θ，采用梯度上升法来极大化概率的对数似然函数：

式中，表示模型的期望，表示数据的期望。