[发明专利]用于使用卷积神经网络标识数字视频中的人体行为的方法、系统和介质

说明书

一种用于根据数字视频的帧序列对人体行为进行分类的方法、处理系统和处理器可读介质。2D卷积神经网络用于标识在每个帧内可见的人体上的关键点，例如人体关节。为每个视频帧创建所述关键点的编码表示。对应于所述帧序列的所述编码表示序列由3D CNN处理，所述3D CNN被训练为根据随时间变化的关键点位置标识人体行为。

相关申请的交叉引用

本申请要求于2020年4月6日提交的、发明名称为“使用卷积神经网络标识数字视频中的人体行为的方法、系统和介质(METHOD,SYSTEM,AND MEDIUM FOR IDENTIFYINGHUMAN BEHAVIOR IN A DIGITIAL VIDEO USING CONVOLUTIONAL NEURAL NETWORKS)”的美国专利申请序列号16/841,227的优先权，其内容通过引用的方式并入本文中。

技术领域

本发明涉及数字视频中的人体跟踪，具体涉及用于标识数字视频中人体行为的方法、系统和处理器可读介质。

背景技术

识别人体行为是计算机视觉研究中的一个长期的问题。虽然机器学习在计算机视觉领域取得了进步，包括在数字图像或数字视频中标识人体以及在数字视频的多帧上跟踪人体的移动的一系列方法，但在数字视频中标识或识别特定类型的人体行为仍然存在困难。

在计算机视觉中，机器学习已被应用于人体行为标识问题，但成功率低。目前的机器学习方法在从数字视频中识别和标识人体行为方面表现出远低于人类水平的准确性。例如，Facebook开发的一种系统根据数字视频中显示的人体行为标识被禁止的视频内容形式，该系统在2019年年初上了新闻头条，原因是它未能在上传到平台的视频中检测到新西兰大规模枪手的暴力行为(参见https://www.nbcnews.com/tech/tech-news/facebook-says-its-artificial-intelligence-systems-failed-detect-new-zealand-n985731)。

文献中有各种机器学习方法，用于使用机器学习标识数字视频中的人体行为。这些机器学习方法中的一些方法使用卷积神经网络，这些卷积神经网络非常适合高效地处理二维和三维数字图像。这些机器学习方法中的一些方法使用递归神经网络，这些递归神经网络非常适合处理随着时间的推移而变化的数据，但通常是计算密集型的。图1A至图1D示出了几种这样的机器学习方法：

图1A示出了用于标识和分类数字视频中的人体行为的第一机器学习方法10。第一机器学习方法使用二维卷积神经网络(two-dimensional convolutional neuralnetwork，2D CNN)14来对数字视频的二维帧12序列执行空间处理并生成空间信息。与2DCNN 14并行，第一机器学习方法10使用光流模块16来处理数字视频的二维帧序列12，以从二维帧序列12导出光流数据。由光流模块16输出的光流数据16和由2D CNN 14输出的空间信息被组合，以建立在二维帧序列12中检测到的人的表观运动模式。将由光流模块16输出的光流数据和由2DCNN 14输出的空间信息组合，产生代表在二维帧序列12中检测到的人的表观运动模式的背景和人体信息18。背景和人体信息18被提供给人体行为分类器19，以标识与在二维帧12序列中检测到的人体行为相对应的一个类别(或分类)。