[发明专利]活动检测装置、活动检测系统及活动检测方法

说明书

提供一种灵活且高精度的活动检测装置、活动检测系统及活动检测方法。一种活动检测装置，包括：输入部(210)，输入至少包括第1图像及第2图像的图像序列；目标检测部(220)，在图像序列中检测第1目标；组件模型部(230)，生成对第1目标赋予特征的第1特性信息，并且包括至少1个能够单独训练的组件模型；以及活动检测部(240)，基于第1特性信息，生成与第1图像中的第1目标对应的第1目标状态以及与第2图像中的第1目标对应的第2目标状态，并基于第1目标状态和第2目标状态，判定与第1目标有关的活动，输出表示所判定的活动的第1活动检测结果。

技术领域

本发明涉及活动检测装置、活动检测系统及活动检测方法。

背景技术

近年来，照片、运动图像、图像等的影像内容正在迅速增加，为了推进利用IoT的社会创新，与高精度的影像监视技术有关的需求变高。特别是，对利用影像内容正确地确定与规定的目标有关的行动或状况的技术的需求增加。在影像解析的技术领域中，检测与规定的目标有关的行动或状况的技术被称作“活动检测”(Activity Detection)。

关于以高精度进行这样的活动检测的技术，提出了若干技术方案。

例如，根据Jun Lei et al.的研究(非专利文献1)，记载有：“在该研究中，著者提出了将卷积神经网络(CNN)与隐马尔可夫模型(HMM)组合的层级型架构。著者使用根据图像数据直接学习高水平的特征的CNN的强能力，有效地提取牢固的活动特征。HMM将相邻的子活动的汇集性依赖关系模型化，被用于推测活动序列。为了将这两个模型的优点组合，构建CNN－HMM的混合结构。高斯混合模型被替换为CNN，将HMM的释放分布模型化。关于CNN－HMM模型，使用植入的维特比算法进行训练，在CNN的训练中使用的数据通过强制排列而被赋予标签。”。

非专利文献1：Jun Lei et al.，“Continuous action segmentation andrecognition using hybrid convolutional neural network－hidden Markov modelmodel”.IET Computer Vision(Volume：10，Issue：6，9.2016)

在非专利文献1中，记载了使用将卷积神经网络与隐马尔可夫模型组合的层级型架构来检测解析对象的影像中的活动的手段。

但是，非专利文献1所记载的手段由于特征提取被限定于卷积神经网络，所以没有考虑在影像中检测到的目标的空间上的位置关系及朝向等的语义的信息，检测与该目标有关的活动的精度受限。

为了提供更高精度的活动检测，与系统结构被固定的以往的手段不同，要求具有更灵活且能够端对端地学习的系统结构的活动检测方法。

所以，本发明的目的是使用能够单独训练的组件模型来判定与对象的目标有关的特性信息、并基于根据这些特性信息生成的目标状态生成活动检测结果，从而提供更灵活且高精度的活动检测手段。

发明内容

为了解决上述课题，代表性的本发明的活动检测装置之一包括：输入部，输入至少包括第1图像及第2图像的图像序列；目标检测部，在上述图像序列中检测第1目标；组件模型部，生成对上述第1目标赋予特征的第1特性信息，并且包括能够单独训练的至少1个组件模型；以及活动检测部，基于上述第1特性信息，生成与上述第1图像中的上述第1目标对应的第1目标状态以及与上述第2图像中的上述第1目标对应的第2目标状态，并基于上述第1目标状态和上述第2目标状态，判定与上述第1目标有关的活动，输出表示所判定的上述活动的第1活动检测结果。

发明效果

根据本发明，使用能够单独训练的组件模型来判定与对象的目标有关的特性信息、并基于根据这些特性信息生成的目标状态生成活动检测结果，从而能够提供更灵活且高精度的活动检测手段。

上述以外的课题、构成及效果通过以下的实施方式的说明会变得更清楚。