[发明专利]影像处理装置及其方法

说明书

本发明提供一种影像处理技术，对于由时空信息构成的影像能够以高精度提取移动体的行为的特征量。在对摄像机拍摄的移动体的影像进行处理的影像处理装置中，以规定的速率对从摄像机输出的帧进行采样，基于连续的多个帧计算移动体的运动的方向，将多个帧汇总在一起，基于计算出的上述方向进行卷积处理来提取影像的特征量。

技术领域

本发明涉及影像处理装置及其方法，详细而言，涉及一种适于分析影像内移动体的行为方式的影像处理。

背景技术

用于影像内移动体的行为分析技术，其在监视影像分析、保健、生命日志(lifelog)等领域的应用受到人们的期待。因为影像信息是由2D的空间信息和1D的时间信息这两者构成的3D的时空信息，所以信息的复杂度很高。

因此，作为已在静态图像分析领域表现出有效性的技术，广为人知的卷积神经网络(Convolutional Neural Network)也被应用于影像内行为分析。例如，下述专利文献1公开了一种图像处理装置，其对从影像中提取的每一帧的静态图像应用2D卷积操作来计算人的姿态信息，并基于此来估计人的行为类别。

此外还已知一种Two-stream(双流)法(非专利文献1)，其根据影像的空间信息和Optical Flow(光流)信息对各自的特征进行建模，最后进行两者的集成(ensample)，其中，Optical Flow信息表示影像内移动体的行为的时间方向上的运动变化。

此外，人们还提出一种对由图像处理系统按时间序列取得的多个帧执行卷积处理的3D卷积(非专利文献2)。

现有技术文献

专利文献

专利文献1：日本特开2018-206321号公报

非专利文献

非专利文献1：Karen Simonyan,et al.Two-stream convolutional networksfor action recognition in videos.Proceedings of the 27th InternationalConference onNeural Information Processing Systems,2014

非专利文献2：Shuiwang Ji,et al.3D Convolutional Neural Networks forHuman Action Recognition.IEEE Transactions on Pattern Analysis and MachineIntelligence,2013

发明内容

发明要解决的技术问题

专利文献1的现有技术仅对静态图像的帧应用卷积处理，所以会破坏时间序列性这一运动的特征，不适合分析人的行为类别。

另一方面，非专利文献2的技术对时间方向上连续采样的多个帧应用卷积处理，所以在提取对象的行为特征这一方面比非专利文献1的技术优异，但由于是与移动体的动线无关地对多个帧进行卷积的，所以用作时空行为信息的建模手段是没有意义的。

为此，本发明的目的在于提供一种影像处理技术，对于由时空信息构成的影像能够以高精度提取移动体的行为的特征量。

解决问题的技术手段

为了实现上述目的，本发明提供一种影像处理装置，其包括对摄像机拍摄的移动体的影像进行处理的控制器，和记录有程序的存储器，其中，所述控制器通过执行所述存储器的程序，来以规定的速率对从所述摄像机输出的帧进行采样，基于连续的多个帧计算所述移动体的运动的方向，对该多个帧基于计算出的所述方向进行卷积处理，来提取所述影像的特征量。此外，本发明还提供一种由图像处理装置执行的图像处理方法。

发明效果