[发明专利]一种基于深度学习技术分析多目标对象行为的方法及系统

权利要求书

1.一种基于深度学习技术分析多目标对象行为的方法，其特征在于，所述方法包括：

步骤S1、采集包含至少一个对象的视觉媒体数据，其中所述视觉媒体数据包括：含目标对象的图像数据、视频数据以及动画数据；

步骤S2、基于所述视觉媒体数据利用目标检测网络对当前帧各目标对象进行定位；

步骤S3、综合全卷积孪生网络和重识别网络跟踪识别定位后的当前帧各目标对象，获取各目标对象的跟踪结果序列；

步骤S4、根据所述跟踪结果序列生成各目标对象对应时间段内的骨骼节点序列，并基于其利用时空图卷积网络自动识别各目标对象的行为分析结果序列；

所述方法还包括：在步骤S3之前，利用多任务学习方法融合全卷积孪生网络和重识别网络，构建多目标融合跟踪网络，其中，设置所述全卷积孪生网络和重识别网络采用相同的主干网络；

在所述步骤S3中，包括：

利用全卷积孪生网络对当前帧定位后的各目标对象进行识别，提取对应的特征图和特征数据，进而通过基于表征学习的重识别网络提取各帧目标对象特征图的特征向量，并将上下帧的特征向量进行关联匹配，构建设定时间段内各目标对象的跟踪结果序列。

2.如权利要求1所述的方法，其特征在于，在所述步骤S2中，利用目标检测网络检测视觉媒体数据中当前帧的各目标对象图像，并根据检测结果为各目标对象图像设置定位边界框信息。

3.如权利要求1所述的方法，其特征在于，在所述步骤S3中，利用全卷积孪生网络对当前帧定位后的各目标对象进行识别的过程中，所述全卷积孪生网络的两个分支分别传入需要跟踪的目标图像和当前帧图像，以目标图像为模板分别通过主干网络提取当前帧图像的特征，在当前帧图像对应的特征图上做卷积操作。

4.如权利要求1所述的方法，其特征在于，在所述步骤S3中，利用欧氏距离算法将各目标当前帧的特征向量与前一帧的特征向量进行比对，并结合匈牙利算法实现上下帧各目标对象的关联匹配，以对多目标对象进行实时匹配跟踪，实现连续的轨迹跟踪。

5.如权利要求1所述的方法，其特征在于，在所述步骤S4中，将各目标对象的跟踪结果序列输入姿态估计系统中生成对应的骨骼节点序列，其中，每一帧的跟踪结果包括：各目标对象的ID、定位坐标、原始图片以及目标图像数据。

6.如权利要求1所述的方法，其特征在于，在所述步骤S4中，将识别获取的多目标行为分析结果序列、对应的骨骼节点序列与跟踪结果序列关联组成最终分析结果面向用户输出，其中，各目标对象的骨骼节点采用彩色的线段和节点显示。

7.一种存储介质，其特征在于，所述存储介质上存储有可实现如权利要求1～6中任一项所述方法的程序代码。

8.一种基于深度学习技术分析多目标对象行为的系统，其特征在于，所述系统执行如权利要求1～6中任意一项所述的方法，该系统包括：

视觉数据采集模块，其配置为采集包含至少一个对象的视觉媒体数据，其中所述视觉媒体数据包括：含目标对象的图像数据、视频数据以及动画数据；

检测定位模块，其配置为基于所述视觉媒体数据利用目标检测网络对当前帧各目标对象进行定位；

跟踪识别模块，其配置为综合全卷积孪生网络和重识别网络跟踪识别定位后的当前帧各目标对象，获取各目标对象的跟踪结果序列；

行为自动分析模块，其配置为根据所述跟踪结果序列生成各目标对象对应时间段内的骨骼节点序列，并基于其利用时空图卷积网络自动识别各目标对象的行为分析结果序列；

所述跟踪识别模块，配置为利用全卷积孪生网络对当前帧定位后的各目标对象进行识别，提取对应的特征图和特征数据，进而通过基于表征学习的重识别网络提取各帧目标对象特征图的特征向量，并将上下帧的特征向量进行关联匹配，构建设定时间段内各目标对象的跟踪结果序列；

所述跟踪识别模块，还配置为：在跟踪识别定位后的当前帧各目标对象之前，利用多任务学习方法融合全卷积孪生网络和重识别网络，构建多目标融合跟踪网络，所述全卷积孪生网络和重识别网络采用相同的主干网络。