[发明专利]图像处理装置和方法及图像处理系统

说明书

本发明公开了一种图像处理装置和方法及图像处理系统。所述图像处理装置包括：从一段视频的视频帧中提取特征的单元；对于非初始视频帧，相对于在其前一视频帧中所检测到的对象的对象信息，确定对象在相应的非初始视频帧中的参考信息的单元；以及，基于所述特征从初始视频帧中检测对象且基于所述特征及所确定的参考信息从非初始视频帧中检测对象的单元。根据本发明，可减少对象检测处理的处理时间，进而可更好地满足视频中对象检测的实时性要求。

技术领域

本发明涉及图像处理，尤其涉及例如视频中对象的检测和/或跟踪。

背景技术

在视频监控处理中，实时地检测和跟踪视频中的对象(例如，特定目标)是一项关键任务。例如，在安全监控方面，通过对从监控场所实时获取的视频中的可疑目标(例如，可疑人物)进行实时地检测和跟踪，可迅速地定位出可疑目标在监控场所中的位置，从而可使得监控人员及时做出后续的处理。例如，在场景理解方面，通过对某一场景的视频中的对象进行实时地检测和跟踪及通过分析所检测到的对象及其运动轨迹，可获得该场景的类别及实时的状况。例如，该场景是十字路口还是单行道、该场景是人行道还是跑道、及该场景是否出现拥挤状况等。

在检测和跟踪视频中的对象的过程中，通常会通过逐帧检测对象然后关联检测到的对象来进行对象跟踪，或者通过检测关键视频帧中的对象然后用跟踪算法来进行对象跟踪。近年来，随着神经网络的发展，神经网络在对象检测中取得了很大的进展，“ObjectDetection in Videos with Tubelet Proposal Networks”(Kai Kang,Hongsheng Li,Tong Xiao,Wanli Ouyang,Junjie Yan,Xihui Liu,Xiaogang Wang；CVPR2017)中公开了一种示例性的利用神经网络检测视频中的对象的方法。该示例性方法主要为：先通过一个用于对象定位的神经网络(例如，Tubelet Proposal Networks(管道推荐网络))来定位一段视频中的非初始视频帧中的对象，然后通过一个用于对象分类的神经网络(例如，LongShort-Term Memory Networks(长短期记忆网络))对定位结果进行分类以得到最终的对象检测结果。其中，对于视频中的初始视频帧，该示例性方法检测对象在其中的位置并将该位置作为对象在各非初始视频中的初始位置以实现对非初始视频帧中的对象的检测。

如上所述，可知在对视频中的对象进行检测的过程中，上述的示例性方法是通过两个独立的阶段(也即，对象定位阶段和对象分类阶段)来实现对象检测的。由于两个阶段的操作需要进行两次的网络计算，例如需要进行两次的特征提取(例如，提取用于对象定位的特征、提取用于对象分类的特征)、需要分别地进行定位和分类操作等，从而使得整个的对象检测处理需要耗费更多的处理时间，进而影响对视频中的对象进行检测和跟踪的实时性要求，也即影响视频监控的实时性要求。

发明内容

鉴于上面的背景技术中的记载，本发明旨在解决上述问题中的至少一点。

根据本发明的一个方面，提供一种图像处理装置，所述图像处理装置包括：提取单元，从一段视频的视频帧中提取特征；确定单元，对于所述视频中的非初始视频帧，相对于在其前一视频帧中所检测到的对象的对象信息，确定对象在相应的非初始视频帧中的参考信息；以及检测单元，对于所述视频中的初始视频帧，基于所述特征从该初始视频帧中检测对象；对于所述视频中的非初始视频帧，基于所述特征及所确定的参考信息从相应的非初始视频帧中检测对象。其中，所述一段视频例如包含N个视频帧，其中N为自然数且N≥3。其中，在一个视频帧中所检测到的一个对象的对象信息至少包括：该对象在该视频帧中的位置、该对象在下一个视频帧的各区域中出现的出现概率。其中，所述检测单元所执行的对象检测操作为检测视频帧中的对象的区域或检测视频中的对象的关键点。其中，所述图像处理装置利用预先生成的神经网络执行相应的操作。