[发明专利]检测装置和方法及图像处理装置和系统

说明书

本发明公开了一种检测装置和方法及图像处理装置和系统。所述检测装置包括：从图像中提取特征的单元；基于所提取的特征检测图像中的对象的单元；以及，基于所提取的特征、所检测到的对象及预先获得的关键点集检测所检测到的对象的关键点的单元。根据本发明，在进行对象及其关键点的检测的同时，能确保整个的检测速度不受待检测图像中的对象的数量的影响，从而可更好地满足实际的计算机视觉任务对检测及时性和实用性的要求。

技术领域

本发明涉及图像处理，尤其涉及例如图像中的对象及其关键点的检测。

背景技术

对象(例如，人、物体)的关键点检测是诸多计算机视觉任务的基础，例如动作检测和分类、异常/危险行为检测以及自动驾驶等。因此对象的关键点检测十分重要。当前常规的做法是将一个复杂的多对象关键点检测问题简化为单对象关键点检测问题。具体操作为：先从图像中检测出多个对象(例如，尤其是对象的边界框)，之后对每一个检测到的对象从其边界框中检测出相应的关键点。

例如，非专利文献“Mask R-CNN”(Kaiming He,Georgia Gkioxari,Piotr Doll′ar,Ross Girshick；Facebook AI Research；ICCV 2017)中公开了一种利用神经网络检测对象关键点的示例性技术。其中，该示例性技术用到的神经网络例如包括用于检测对象的网络分支和用于检测对象关键点的网络分支。其中，该示例性技术主要是：先利用用于检测对象的网络分支检测出图像中的对象及获得对象的类别；之后对每一个检测到的对象，利用用于检测对象关键点的网络分支检测出该对象的关键点。

如上所述可知，在进行对象的关键点的检测过程中，上述的做法需要通过两个独立的阶段来实现相应的检测。其中一个阶段的操作是检测图像中的对象(例如，包括对象的边界框和对象的类别)。另一个阶段的操作是对每一个检测到的对象检测其相应的关键点，也即，在该阶段需要对检测到的每一个对象逐一地进行关键点的检测操作。由此可见，在待检测图像中的对象的数量较多的情况下，关键点检测操作所需耗费的时间将更多，从而影响整个的检测速度(例如，使得检测速度变慢)。换句话说，关键点检测操作所需耗费的时间与待检测图像中的对象的数量直接相关。因此，待检测图像中的对象的数量越多，关键点检测操作所需耗费的时间将越多，整个的检测速度所受到的影响也将越大，进而使得实际的计算机视觉任务的及时性和实用性受到影响。

发明内容

鉴于上面的背景技术中的记载，本发明旨在解决上述问题中的至少一点。

根据本发明的一个方面，提供一种检测装置，所述检测装置包括：特征提取单元，从图像中提取特征；对象检测单元，基于所提取的特征检测所述图像中的对象；以及关键点检测单元，基于所提取的特征、所检测到的对象及预先获得的关键点集检测所检测到的对象的关键点。

根据本发明的另一个方面，提供一种检测方法，所述检测方法包括：特征提取步骤，从图像中提取特征；对象检测步骤，基于所提取的特征检测所述图像中的对象；以及关键点检测步骤，基于所提取的特征、所检测到的对象及预先获得的关键点集检测所检测到的对象的关键点。

其中，在本发明中，图像中的对象例如包括图像中的人和图像中的物体。其中，所检测到的对象至少具有对象的区域信息和对象的类别置信度信息。其中，在本发明中，所述预先获得的关键点集中的一个关键点集例如可描述一个对象的形状和/或可描述一个对象的姿势。

根据本发明的再一方面，提供一种图像处理装置，所述图像处理装置包括：获取设备，用于获取图像或视频；存储设备，存储有指令；以及处理器，基于所获得的图像或视频执行所述指令，使得所述处理器至少实现如上所述的检测方法。

根据本发明的又一方面，提供一种图像处理系统，所述图像处理系统包括：获取设备，用于获取图像或视频；如上所述的检测装置，从所获取的图像或视频中检测对象及其关键点；以及处理装置，基于所检测到的对象及其关键点，执行后续的图像处理操作；其中，所述获取装置、所述检测装置和所述处理装置经由网络相互连接。