[发明专利]一种基于深度学习的战术动作评估方法

说明书

本发明涉及一种基于深度学习的战术动作评估方法，包括以下步骤：1）构建战术动作视频数据库；2）计算光流场；3）生成运动矢量流图像；4）进行PCA降维处理；5）对上一步的计算结果进行LDA变换；6）训练神经网络；7）应用神经网络进行动作分类；8）PCA‑LDA空间投影；9）分数评估。优点：1）无需穿戴测量传感器，方便快捷，不干扰训练。2）只需要录制视频即可进行战术动作评估，有效降低成本。3）对视频数据的降维处理编码了人体运动速度场，便于使用速度差异进行动作识别和评分。4）提供了建立战术动作视频数据集的方法。5）不仅可以识别战术动作，还可以对战术动作进行打分。通过线性校正使打分贴近专家打分，能够为战术训练提供支持。

技术领域

本发明是一种基于深度学习的战术动作评估方法，属于人体动作识别技术领域。

背景技术

在单兵或作战小队战术训练中，对每个人的战术动作进行评估，指出动作的不标准之处是必须的。传统的战术动作评估以人工判断为主，指挥官通过现场观看或视频回看，根据自身的专业知识进行评估。这种评估方法受人为主观因素的影响较大，而且在进行小队战术训练时，指挥官难以对每个人的战术动作进行全面的观察。基于视频采集和深度学习技术，对受训者的战术动作进行捕捉和智能评估，是提高战术训练动作评估科学性和自动化的有效手段。

目前人体动作识别主要采用两类方法，（1）人体佩戴姿态测量传感器，如惯性测量单元或光学动作捕捉设备，通过传感器测量值，计算人体动作；（2）基于视频图像进行动作识别。

典型的光学式运动捕捉系统使用多个相机围绕受训者，受训者在身体的关键部位贴上一些特制的标志称为“Marker”。每个Marker同时被多个相机所见，根据相机参数和空间位置关系，可计算Marker的三维空间位置计算。这样就能实现人体动作的跟踪，将运动跟踪数据与模板匹配或输入训练好的AI系统，即可进行动作识别。基于姿态测量传感器的行为识别方案，需要佩戴相应设备，使用不便，扩展性不强。

通过摄像机拍摄的视频跟踪和识别行为采用的主要技术是计算机视觉，主要目标是判断一段视频中人的行为的类别，采用的方法包括以下几种。

iDT（improved dense trajectories)算法，利用光流场来获得视频序列中采样点轨迹，再沿着轨迹提取trajectory特征、HOF/HOG特征以及MBH特征。最后利用FV（FisherVector）方法对特征进行编码，再基于编码结果训练SVM分类器。

双流法，基本原理为对视频序列中每两帧计算密集光流，得到密集光流的序列（即temporal信息）。然后对于视频图像（spatial）和密集光流（temporal）分别训练CNN模型，两个分支的网络分别对动作的类别进行判断，最后直接对两个网络的class score进行fusion（包括直接平均和svm两种方法），得到最终的分类结果。

基于测量传感器的动作评估需要在受训者身上佩戴多个传感器，这在战术训练时是不现实的。所以战术动作评估最好采用视频评估的方式，不干扰训练，成本低。

基于视频进行战术动作评估包括动作识别和动作评估两个步骤。目前对动作识别的研究较多，例如手势识别、跌落检测等，但对于战术动作的识别还未检索到相关资料。虽然动作识别的方法具有一定的可借鉴性，但训练数据集是难以通用的。

目前动作识别主流方法是iDT和双流法。iDT虽然计算效率高，但是对相似动作的异常值不敏感，不能准确反映人体动作的局部运动特征，降低了战术动作评估的准确性。双流法可进行动作识别分类，但难以为评估提供支持。

发明内容

本发明提出的是一种基于深度学习的战术动作评估方法，旨在提供一种基于视频的战术动作识别分类和评分的方法。不同战术动作的速度协方差轨迹存在显著差异，动作的差异程度可根据两个轨迹之间的距离进行评价，本方法以此为基础进行动作识别和评估，准确性高，成本较低。