[发明专利]一种基于运动轨迹的3D卷积神经网络的行为识别方法

摘要

本发明公开了一种基于运动轨迹的3D卷积神经网络的行为识别方法，具体为：行为识别网络模型训练：建立行为识别数据集，训练数据集和测试数据集；创建训练标签与测试标签；双向光流计算，获取双向运动轨迹；提取基于运动轨迹的像素值数据矩阵；建立基于运动轨迹的3D卷积神经网络结构；对神经网络结构进行训练；行为识别网络模型测试，计算准确率；若准确率大于等于95％，则认为训练的基于运动轨迹的3D卷积神经网络结构为最终的需求，若准确率小于95％，则需要调整基于运动轨迹的3D卷积神经网络结构的内置参数后重新训练。本发明的一种基于运动轨迹的3D卷积神经网络的行为识别方法，提高视频中人体行为的识别精度。

主权项

1.一种基于运动轨迹的3D卷积神经网络的行为识别方法，其特征在于，具体按照以下步骤实施：步骤一，行为识别网络模型训练，具体按照以下步骤实施：步骤1，建立行为识别数据集，数据集包含N种行为类别，第n种行为的视频个数记为Vnum_n，0≤n≤N‑1，在第n种行为视频中按顺序抽取前K_n个视频作为训练视频，K_n＝round(3/4×Vnum_n)，把所有抽取的训练视频作为训练数据集Vtrain，其中表示在训练数据集中第n种行为类别下的第k个视频；测试数据集表示测试数据集中第n种行为类别下的第s个视频；步骤2，创建训练标签Label_train与测试标签Label_test，在训练数据集Vtrain中，第n种行为类别下的第k个视频的视频帧数为以互不重叠的连续16帧图像为一个视频段，提取的视频段个数表示第n种行为类别下的第k个视频的第m个视频段；训练标签Label_train的格式为：其中为视频路径VideoPath/Vtrain_n下的视频文件名为每个视频段起始帧号，n为行为类别编号；在测试数据集Vtest中，第n种行为类别下的第s个视频的视频帧数为以互不重叠的连续16帧图像为一个视频段，提取的视频段个数表示第n种行为类别下的第s个视频的第w个视频段；测试标签Label_test格式为：其中为视频路径VideoPath/Vtest_n下的视频文件名为每个视频段起始帧号，n为行为类别编号；步骤3，双向光流计算，获取前向、后向运动轨迹列表，对输入的视频段数据进行双向光流场计算，获取视频前向运动轨迹列表pos_pre＝{pos_pre[i][j]}，pos_pre[i][j]表示第i帧视频图像第j个像素在前一帧视频图像中的对应像素点位置，其中，1≤j≤w×h，w、h分别表示视频图像的宽和高，1＜i≤16；后向运动轨迹列表pos_back＝{pos_back[i][j]}，pos_back[i][j]表示第i帧视频图像第j个像素在后一帧视频图像中的对应像素点位置，其中，1≤j≤w×h，1≤i＜16；步骤4，根据步骤3得到的运动轨迹列表，把视频段数据转换成N₁×N₂大小的数据矩阵N₁＝81，N₂＝16×w×h，c表示颜色通道，取值为1，2和3，img^c[i]中第j个像素点位置是根据i和j的取值在前向轨迹列表pos_pre中得到前向匹配像素点位置在后向轨迹列表pos_back中得到后向匹配像素点位置在img^c[i‑1]、img^c[i]和img^c[i+1]图像中分别提取和Pf_i^j这三个位置的像素点在各个通道上的3×3邻域像素值，将三个通道上的各邻域像素值串行合并，将合并后数据放在矩阵中的第(i‑1)×(w×h)+j列；步骤5，建立基于运动轨迹的3D卷积神经网络结构Track_3D；步骤6，对步骤5建立的基于运动轨迹的3D卷积神经网络结构进行训练，具体为：打开训练样本标签Label_train文件，按行读取视频路径、视频名称和视频段起始帧号，在视频名称对应的视频中以起始帧号为首帧连续读取16帧视频段作为一个样本，将所有的样本依次送入到步骤5建立的基于运动轨迹的3D卷积神经网络结构中进行训练，当满足最大迭代次数或收敛条件时结束训练，得到基于运动轨迹的3D卷积神经网络结构Track3DModel；步骤二，行为识别网络模型测试，具体为：读取测试标签Labeltest中的视频路径、视频名称以及起始帧号，将测试数据集中的视频按照以起始帧号为第一帧的连续16帧视频段输入到经过训练的基于运动轨迹的3D卷积神经网络模型中，输出各个视频段的行为分类信息，最后将输出的行为分类信息与该测试视频对应的测试标签Labeltest文件信息作比较，统计分类正确个数，计算得到准确率；步骤三，若步骤二的得到的准确率大于等于95％，则认为步骤一的步骤6训练的基于运动轨迹的3D卷积神经网络结构为最终的需求，若准确率小于95％，则需要调整基于运动轨迹的3D卷积神经网络结构的内置参数，然后重复步骤一的步骤6和步骤二，直到准确率满足要求。