[发明专利]图像提取装置和方法、行为分析系统和存储介质

说明书

本发明提供一种图像提取装置，从来自多个视频源的视频数据中，提取用于对视频数据中的对象人物进行行为识别的特定图像，提高行为识别的准确性。该图像提取装置包括：人物检测提取部(301)，从视频数据中检测对象人物，并提取对象人物的全部的图像；关键点提取部(306)，对人物检测提取部提取出的对象人物的图像进行关键点提取；关注部位确定部(304)，确定对象人物的关注部位；关注部位图像提取部(307)，根据关注部位确定部确定的关注部位，从对象人物的图像中提取该对象人物的关注部位的图像；图像判断输出部(308)，判断关注部位图像提取部提取出的关注部位的图像中哪些图像是特定图像，并输出特定图像。

技术领域

本发明涉及视频监控领域，具体而言涉及从摄像机拍摄的视频数据中提取特定图像用于进行行为识别的图像提取装置和方法，行为分析系统和存储介质。

背景技术

人体行为识别(Human Action Recognition)在众多方面有着广阔的应用前景和潜在的经济、社会价值。

例如，在医疗看护、虚拟现实、运动员辅助训练等领域，通过在特定对象身上安装多个例如可穿戴传感器，能够采集该对象的行为数据，对其行为模式进行分析。基于传感器的人体行为识别虽然具有较高的精确性、抗干扰性，但仅能应用于特定的对象且成本较高，应用非常受限。

随着视频监控设备的普及和计算机视觉技术的进步，基于视频分析的人体行为识别成为当前研究的热点。基于视频分析的人体行为识别由于仅通过对采集到的视频数据进行分析即可得到识别结果，因此能够以较低的成本实现不确定对象的行为识别，在诸多领域，尤其是安防领域具有非常重要的意义。

通常，在行为识别的研究中，人们使用人体骨骼的关键点(keypoi nt)的移动来描述人体的运动，由十数个关键点的组合代表人体，对这些关键点进行追踪来识别行为。例如，卡内基梅隆大学(CMU)在国际计算机视觉与模式识别学术会议CVPR2017上，以“Realtime M ulti-Person 2D Pose Estimation using Part Affinity Fields”为题，发表了一种实时多人关键点检测与关键点关系推测的技术OpenPose(开源库，https://github.com/CMU-Perceptual-Computing-Lab/openpose)。利用OpenPose的技术，例如图7所示，能够与拍摄到的人物数量无关地，通过深度学习的方法从一幅图像中同时推测多个人的骨骼关键点。从而，通过将这样的技术应用于视频数据，能够得到关键点的移动，由此能够获得关于人体的行为的信息。

作为行为识别技术的具体应用，为了应对人口老龄化的趋势，专利文献1公开了利用人体行为识别来进行医疗看护的技术。具体而言，其提供了一种在视频中识别异常动作的方法，包括：通过前景提取模块从视频序列中提取像素存在一定变化的区域；通过行人判定模块将前景提取模块检出的运动目标进行判定，将判定为行人的矩形框保留下来，传递给目标跟踪模块；通过目标跟踪模块持续、多目标地跟踪场景内的每一个识别到的目标；通过异常行为触发模块对目标跟踪模块跟踪的每一个目标每一帧时刻内的体态进行判定，并对异常行为进行行为分析；通过行为识别模块处理运算异常行为视频片段，对异常行为进行报警并且识别其行为类型。

在专利文献1中，从视频序列中提取运动目标进行行为分析，但其没有考虑在存在多个视频源(例如摄像机)时使用哪个(或哪些)视频源的哪些数据进行分析的问题。

现有技术文献

专利文献1：CN106571014A

发明内容

发明要解决的技术问题