[发明专利]一种基于非对称多流的动作检测方法

摘要

本发明公开了一种基于非对称多流的动作检测方法，包括以下步骤：从先验视频中提取RGB图像和光流，训练获得训练好的RGB图像单流网络和光流单流网络；提取先验视频中每帧的图像流特征信息和光流特征信息，结合动作标签，训练非对称双流网络；通过训练好的RGB图像单流网络和光流单流网络，分别提取待检测的目标视频中每帧的图像流特征信息和光流特征信息，获得目标视频的段特征并输入训练好的非对称双流网络，计算获得视频分类向量；从视频分类向量中选择出潜在动作，获得潜在动作的动作识别序列；通过动作识别序列完成动作的检测。本发明的动作检测方法，考虑到了图像流和光流之间的不对称性，可提升动作识别和动作检测的准确率。

主权项

1.一种基于非对称多流的动作检测方法，其特征在于，包括以下步骤：步骤1，采集若干已标注视频标签的先验视频，从先验视频的帧信息中提取RGB图像和光流；通过提取的RGB图像并结合视频标签训练卷积神经网络，获得训练好的RGB图像单流网络；通过提取的光流并结合视频标签训练卷积神经网络，获得训练好的光流单流网络；步骤2，通过步骤1获得的训练好的RGB图像单流网络和光流单流网络，分别提取步骤1采集的先验视频中每帧的图像流特征信息和光流特征信息；步骤3，根据步骤2提取的图像流特征信息和光流特征信息，并结合动作标签，训练非对称双流网络，最终获得训练好的非对称双流网络；其中，非对称双流网络训练的过程包括：将图像流特征信息和光流特征信息结合作为输入，输出多流分类结果和多流注意力权重，加权多流分类结果获得视频分类向量，最小化非对称双流网络的损失函数；步骤4，通过步骤1获得的训练好的RGB图像单流网络和光流单流网络，分别提取待检测的目标视频中每帧的图像流特征信息和光流特征信息；步骤5，根据步骤4提取的图像流特征信息和光流特征信息，获得目标视频的段特征；将目标视频的段特征输入步骤3获得的训练好的非对称双流网络，输出段分类向量和段注意力权重；根据段分类向量和段注意力权重计算获得视频分类向量；步骤6，从步骤5获得的视频分类向量中选择置信度大于预设值的动作作为潜在动作；其中，对于潜在动作a，从步骤5中获得的段分类向量中抽取潜在动作a的分类权重，获得潜在动作a的动作识别序列；通过潜在动作a的动作识别序列完成动作a的检测。