[发明专利]一种基于骨骼姿态与时空图卷积网络的行为识别方法

权利要求书

1.一种基于骨骼姿态与时空图卷积网络的行为识别方法，其特征在于，包括如下步骤：

步骤S1，建立包含若干视频段的数据集；

步骤S2，利用改进的ViBe算法，提取所述视频段中的关键帧并计算所述关键帧中的前景区域的质心；

步骤S3，采用OpenPose算法对所述关键帧进行骨骼数据提取得到若干个节点坐标，计算所述质心与所述节点的距离，根据距离优先原则分配节点置信度；

步骤S4，将经所述步骤S3处理的数据送入ST_GCN算法模型中进行训练；

步骤S5，利用经过训练的ST_GCN算法模型对采集的实时视频进行检测。

2.根据权利要求1所述的基于骨骼姿态与时空图卷积网络的行为识别方法，其特征在于，在所述步骤S1中，所述数据集包括训练集、测试集和验证集。

3.根据权利要求1所述的基于骨骼姿态与时空图卷积网络的行为识别方法，其特征在于，所述步骤S2包括：

步骤S21、计算当前帧与上一帧之间像素的波动差，当两帧之间的像素波动数量大于设定阈值时，确定所述当前帧为关键帧并提取；

步骤S22、初始化所述关键帧中每个像素点的背景模型，使时刻t＝0，随机挑选每个像素点的邻域像素点作为背景模型；

步骤S23、对后续的图像序列进行前景目标分割处理，确定前景点区域；

步骤S24、对前景点区域求质心。

4.根据权利要求3所述的基于骨骼姿态与时空图卷积网络的行为识别方法，其特征在于，在所述步骤S21中，当前帧与上一帧之间的像素波动数量大于5％时，确定此帧为关键帧C₀并提取，所述关键帧的判断公式为：

其中S为当前帧与上一帧之间的像素波动数量总数，F_n(i，j)，F_n-1(i，j)分别为当前帧与上一帧在(i，j)处的像素值，n为视频中帧的索引，依次对视频进行关键帧的提取得到关键帧C₀，C₁，C₂，C₃，C₄，…C_n。

5.根据权利要求3所述的基于骨骼姿态与时空图卷积网络的行为识别方法，其特征在于，在所述步骤S22中，时刻t＝0时的背景模型公式如下：

其中，f⁰(xⁱ，yⁱ)表示当前点的像素值，N_G(x，y)表示空域上相邻的像素值，为t＝0时刻当前像素点的背景模型。

6.根据权利要求3所述的基于骨骼姿态与时空图卷积网络的行为识别方法，其特征在于，在所述步骤S23中，当t＝k时，像素点(x，y)的背景模型为当前像素值为f^k(x，y)，根据如下公式判断该像素点是否为前景点：

其中，D用于计算当前像素点f^k(x，y)与其对应的背景模型中的像素点fⁱ(x，y)距离，R、G、B为每个像素点的像素值，T为预设的距离阈值，f^k(x，y)为待判断像素点，若背景模型中的像素点f^ι(x，y)与当前像素点f^k(x，y)的距离D小于预设的距离阈值T，则使N＝N+1，N的初始值为0，当N达到一设定阈值时，判断当前像素点f^k(x，y)为背景点，否则判断该像素点为前景点；遍历单帧图像的所有像素点以确定前景点。

7.根据权利要求3所述的基于骨骼姿态与时空图卷积网络的行为识别方法，其特征在于，所述步骤S24包括：

步骤S241、计算图像中所有前景点的像素灰度值之和，计算公式如下：

步骤S242、计算图像中每个像素点与对应的X坐标的乘积之和及每个像素点与其对应的Y坐标的乘积之和，计算公式如下：

步骤S243、分别计算质心坐标的x和y，计算公式如下：