[发明专利]一种在线行为识别模型训练、检测方法及系统

说明书

一种在线行为识别模型训练、检测方法及系统，方法包括以下步骤：步骤1，将输入视频流输入至在线行为识别模型的空间Transformer特征提取网络输出表征每一帧视觉特征的空间特征；步骤2，基于空间特征，构建令牌特征序列；步骤3，将步骤2获得的令牌特征序列输入至Transformer模型，使用Transformer模型的编码器来识别当前帧块f₀的行为，使用解码器来预测即将到来的未来的行为；步骤4，计算整个行为识别模型最后的训练Loss，实施离线训练过程，训练结束后即得到在线行为识别模型；步骤5，上述步骤结束后，当输入在线视频，在线行为识别模型就可以输出当前帧的行为类别。本发明创新性地采用基于Transformer的在线行为识别检测算法，在保证准确度的前期下，实现了在线行为实时检测任务。

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及在线行为识别模型训练、检测方法及系统。

背景技术

在线行为识别是一种从视频流中正确识别正在进行的人体动作的计算机视觉任务。在线行为识别技术不同于传统的计算机视觉任务，该技术强调实现该技术的算法必须在正确识别视频流中正在进行的人体动作的同时，具备一定的实时性。这就决定了在线行为识别具有两大技术难点：一是与基于图片的视觉任务不同，在线行为识别任务需要在视频帧到达时以不充分的观察来检测动作，这不仅需要学习每个视频帧的空间特征，更重要的是需要充分挖掘视频帧间的时间特征；二是在线行为识别任务处理大量视频帧会带来更大的计算量，在这个前提下保证算法的实时性也是一项不小的挑战。

最近，因为这项任务在现实生活中具有例如自动驾驶、视频监控、异常检测等多种应用前景而受到越来越多的关注。目前，国内外专家学者针对上述难点问题基于人工智能理论提出了一些卓有成效的实现方案。当前的方法倾向于应用循环神经网络(RecurrentNeural Network,RNN)来对时间依赖性进行建模，并取得了令人印象深刻的改进。

通常，信息判别网络(Information Discrimination Network,IDN)设计了一个类似RNN的架构来编码长期的历史信息，然后进行当前时刻的动作识别。然而，类似RNN的架构存在非并行性和梯度消失的问题。因此，很难优化架构，这可能会导致性能不理想。对于当前的方法来说，这是一个具有挑战性的问题。为了进一步提高性能，需要设计一个新的高效且易于优化的框架。

Transformer具有通过self-attention模块进行远程时间建模的强大能力，并且在自然语言处理和各种视觉任务中都取得了卓越的表现。现有工作已经证明，Transformer比RNN架构具有更好的收敛性，并且它们的计算效率也很高。

因此，本发明应用Transformer引入了一种端到端框架，提出了一种在线行为识别模型训练、检测方法及系统。

发明内容

为解决现有技术中存在的不足，本发明的目的在于，提供一种在线行为识别模型训练、检测方法及系统。

本发明采用如下的技术方案。本发明的第一方面提供了一种在线行为识别模型训练、检测方法，其特征在于，包括以下步骤：

步骤1，将输入视频流输入至在线行为识别模型的空间Transformer特征提取网络，输出表征每一帧视觉特征的空间特征；

步骤2，基于步骤1获得的每一帧的空间特征，构建令牌特征序列；

步骤3，将步骤2获得的令牌特征序列输入至Transformer模型，使用Transformer模型的编码器来识别当前帧块f₀的行为，使用解码器来预测即将到来的未来的行为；

步骤4，计算整个行为识别模型最后的训练Loss，实施离线训练过程，训练结束后即得到在线行为识别模型；

步骤5，上述步骤结束后，当输入在线视频，在线行为识别模型就可以输出当前帧的行为类别。