[发明专利]基于对偶关系网络的时序动作定位方法、系统、设备及介质

说明书

本发明公开了一种基于对偶关系网络的时序动作定位方法、系统、设备及介质，所述方法包括以下步骤：将待时序动作定位的原始视频序列分解为若干个视频片段并编码，获得编码后的视频特征序列；基于编码后的视频特征序列，获得候选的动作提案集合；利用预训练好的对偶关系网络对所述候选的动作提案集合中的每个提案进行信息更新，获得提案信息更新后的动作提案集合；基于所述提案信息更新后的动作提案集合，获得时序动作定位结果。本发明中，首次提出建模并推理动作提案之间的关系以及动作提案与全局上下文之间的关系，以丰富和补充动作提案表征，进而准确地分类动作和精确地检测动作边界。

技术领域

本发明属于计算机视觉与模式识别技术领域，涉及时序动作定位领域，特别涉及一种基于对偶关系网络的时序动作定位方法、系统、设备及介质。

背景技术

伴随着视频数据的快速增长，视频的自动处理技术的重要程度与日俱增；其中，视频动作检测问题具有越来越大的理论研究价值与实际应用价值。

目前，如何自动发现检测视频中包含的特定动作的开始时间和结束时间，以及识别该动作的类别，仍是当前视频处理领域的难点问题。在上述难点问题中，输入是未剪辑的视频序列，包含真实的动作实例以及背景等与动作无关的序列；其中，将非动作序列的视频信息称为上下文信息。在上述难点问题中，输出分为两部分，其一是动作发生的开始时间和结束时间；其二是动作的类别。

由于复杂的时空背景、模糊的时间边界，以及人物外观、镜头视角和动作持续时间的变化很大，上述难点问题是非常具有挑战性。

以往的大多数传统方法是首先生成一系列候选动作提案，独立地处理每个动作提案，同时忽略了动作提案和其上下文的关系的推理；由于动作提案与真实动作实例之间存在表征差异和时序偏移，因而在识别动作类别和定位边界上遇到性能瓶颈。

综上，亟需一种新的基于对偶关系网络的时序动作定位方法、系统、设备及介质。

发明内容

本发明的目的在于提供一种基于对偶关系网络的时序动作定位方法、系统、设备及介质，以解决上述存在的一个或多个技术问题。本发明中，首次提出建模并推理动作提案之间的关系以及动作提案与全局上下文之间的关系，以丰富和补充动作提案表征，进而准确地分类动作和精确地检测动作边界。

为达到上述目的，本发明采用以下技术方案：

本发明的一种基于对偶关系网络的时序动作定位方法，包括以下步骤：

将待时序动作定位的原始视频序列分解为若干个视频片段并编码，获得编码后的视频特征序列；

基于所述编码后的视频特征序列，获得候选的动作提案集合；

利用预训练好的对偶关系网络对所述候选的动作提案集合中的每个提案进行信息更新，获得提案信息更新后的动作提案集合；其中，所述信息更新包括推理提案之间的关系特征、提案与全局上下文的关系特征来丰富每个提案的特征；

基于所述提案信息更新后的动作提案集合，获得时序动作定位结果。

本发明的进一步改进在于，所述将待时序动作定位的原始视频序列分解为若干个视频片段并编码，获得编码后的视频特征序列的步骤具体包括：

将待时序动作定位的原始视频序列分解为若干个视频片段，每个视频片段包含原始视频序列固定长度的连续帧；

利用一个预训练好的特征提取器编码每个视频片段，获得编码后的视频特征序列；其中，所述编码后的视频特征序列包含每个视频片段的RGB信息和相邻片段之间的光流信息。

本发明的进一步改进在于，所述预训练好的对偶关系网络包括：

提案-提案关系推理模块，用于推理提案之间的关系特征来丰富每个提案的特征；