[发明专利]基于深度学习融合各种交互信息的多人行为检测方法及系统

说明书

一种基于深度学习融合各种交互信息的多人行为检测方法及系统，通过构建带有标签的视频库作为样本集对行为检测网络进行训练，并将训练后的网络处理待测视频，根据最终的输出向量实现对区域中对象行为的检测。本发明充分考虑了人类行为的复杂性，在考虑人的自身运动的同时，综合了其与其他人、物体以及长期记忆信息的交互关系，有效地提高了视频行为检测的精度。

技术领域

本发明涉及的是一种人工智能视频识别领域的技术，具体是一种基于深度学习融合各种交互信息的多人行为检测方法及系统。

背景技术

计算机视觉的目标是利用计算机程序处理各种不同的视觉任务，往往涉及到图像、视频等多媒体。卷积神经网络是广泛运用在计算机视觉任务中的一种深度学习技术，它通过训练图像卷积操作中的滤波器参数，得到更加通用的深度鲁棒表征，这些表征的形式是高维的向量或矩阵，能够用于行为检测或分类，即对视频中出现的人的位置进行检测，并对其各自发生的行为进行判断。

现有的行为检测技术一般通过检测出人的边界框，通过三维卷积神经网络提取出视频的表征，通过线性插值的方式根据人的边界框从视频表征中提取出人的区域表征，最后通过人的区域表征进行最终的判断。其缺陷在于仅考虑单个人在其边界框内部的动作变化，没有对人与其他人或物体之间的交互信息进行利用，无法准确检测更为复杂的交互类行为，如开门、看电视、与他人对话等行为。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于深度学习融合各种交互信息的多人行为检测方法及系统，通过提取三种不同的表征信息，并进一步进行融合，在没有明显增加计算量的基础上，提高了多人行为检测的精度，具有较好的可行性和鲁棒性。

本发明是通过以下技术方案实现的：

本发明涉及一种基于深度学习融合各种交互信息的多人行为检测方法，通过构建带有标签的视频库作为样本集对行为检测网络进行训练，并将训练后的网络处理待测视频，根据最终的输出向量实现对区域中对象行为的检测。

所述的带有标签的视频库，通过以下方式得到：将样本集中的视频等间隔标注后，将视频尺寸进行归一化处理，并依照以每个标注帧裁剪为若干片段，例如：对于每个标注帧，以该帧为中间帧前后各取32帧的内容，得到相应的一个64帧的片段。

所述的等间隔标注的内容包括：帧中每个人的边界框以及在该帧前后各1.5秒的时间区间内每个人各自发生的行为。

所述的边界框采用但不限于Faster-R卷积神经网络、YOLO等一系列较为成熟的图像物体检测算法得到，检测后的每张标注帧同时具有了该帧上所出现的各类物体的边界框及类别。

所述的行为检测网络包括：一个用于提取视频表征的三维卷积神经网络、带有记忆池的表征抽取模块、一个多交互关系建模融合网络、三个全连接层和一个sigmoid回归层，其中：三维卷积神经网络根据输入的视频片段提取出视频表征并输出至表征抽取模块，表征抽取模块利用RoIAlign对视频表征上的各个边界框区域进行线性插值并经过池化得到人和物体的区域表征的同时表征抽取模块通过记忆池得到记忆表征，多交互关系建模融合网络对人和物体的区域表征以及记忆表征进行建模融合得到鲁棒行为表征，通过全连接层和sigmoid回归层得到各个类别的预测概率。

所述的三维卷积神经网络采用但不限于I3D网络、SlowFast网络、C3D网络等常用的视频表征提取网络。

根据边界框区域内的内容不同，表征抽取模块可以得到人的区域表征和物体的区域表征。

所述的记忆池根据每个视频片段中人和物体的区域表征中人的区域表征，通过将当前片段的历史片段中人的区域表征的拼接，得到记忆表征。