[发明专利]操作识别系统、操作识别装置及操作识别方法

说明书

技术领域

本发明涉及基于图像特征等的事前学习的知识来识别人的操作的操作识别系统及操作识别装置。

背景技术

近年来，实现了用照相机等的传感器观测日常生活中的烹饪、清扫及洗涤等的、人用手进行的操作的状况并识别该操作的操作识别系统。在该操作识别系统中，将操作对象的客体及人的操作行动的特征预先通过脱机学习而作为知识数据储存，并通过将该知识数据与传感器的观测值进行比较，来识别客体或行动。识别出的结果作为下一操作步骤的提示或伴随操作的危险的警告等各种各样的向信息提供设备的触发来使用，或者作为向将日常生活行动作为日志数据来利用的设备的输入来使用。例如，在非专利文献1中，公开了关于烹饪的手操作、将蔬菜或肉等的食品识别为对象客体的系统。

将通过非专利文献1中公开的系统来识别人的手操作的处理的概况表示在图18中。首先，设计者对于用照相机拍摄了烹饪状况的图像101，脱机下赋予相当于解说烹饪状况的字幕的隐藏字幕102。接着，再次通过脱机处理，系统将图像101和隐藏字幕102作为输入来接受。系统在从隐藏字幕102得到文本的时刻，将图像101与已学习的知识数据进行比较，从而辨别操作的对象客体。

非专利文献

非专利文献1：高野等，《基于来自文本的制约的料理图像中的物体检测》，人工智能学会全国大会2003(1页，图2)

发明的概要

发明要解决的问题

但是，在构建根据人的操作状况而实时地响应的设备的情况下，必须全部在联机下识别人的操作。例如，在料理指导系统等中，必须在某个烹饪操作完成的瞬间将下一烹饪操作内容用影像或声音提示。因此，在实时处理中，在非专利文献1中，不能预先准备为了削减在知识评价中进行的计算处理而使用的隐藏字幕102。因此，对于以等时间间隔采样的全部图像，必须总是进行与知识数据的比较。因此，该比较中需要的计算量与图像的帧速率或分辨率、或者知识数据的质或量成比例而成为庞大的量，实时性显著地下降。此外，在以相对于时间的图像变化为特征的知识数据的情况下，操作的时间幅度有可能伸缩。因此，需要一边考虑伸缩一边进行与知识数据的比较，计算量变得更庞大。

发明内容

本发明是考虑到上述情况而做出的，目的是提供一种能够实时地识别用户的操作的操作识别系统等。

用于解决问题的手段

为了达到上述目的，有关本发明的一技术方案的操作识别装置具备：整体观测时刻决定部，基于速度传感器所输出的表示用户的手的运动的时间序列的第1观测值的大小和上述第1观测值间的角度差，决定上述第1观测值之中、上述用户的手的运动表示规定的运动时的上述第1观测值的观测时刻即整体观测时刻；以及观测值选择部，从摄像部所输出的表示上述用户的操作的状况的时间序列的第2观测值之中，选择由上述整体观测时刻决定部决定的上述整体观测时刻的第2观测值。

通过本结构，能够对由摄像部得到的第2观测值的一部分评价知识，并识别状况。因此，能够缩小应评价知识数据的第2观测值的范围。由此，能够削减用于识别操作的计算量。因此，能够实时地识别用户的操作。此外，不需要为了计算整体观测时刻而进行准备隐藏字幕等的事前的准备。

另外，本发明不仅能够作为具备这样的特征性的处理部的操作识别装置实现，也能够作为以操作识别装置中包含的特征性的处理部所执行的处理为步骤的操作识别方法实现。此外，也可以作为用来使计算机执行操作识别方法中包含的特征性的步骤实现。并且，当然能够使这样的程序经由CD-ROM(Compact Disc-Read Only Memory)等的计算机可读取的记录介质或因特网等的通信网络流通。

发明效果

根据本发明，通过大幅削减在知识评价中耗费的计算量，能够高速地识别操作。同时，还能够削减在无用的计算中耗费的电力。由此，能够实时地识别用户的操作。

附图说明

图1是表示本发明的实施方式1的手操作识别装置的使用形态的图。

图2是本发明的实施方式1的手操作识别装置的功能模块图。

图3是本发明的实施方式1的手操作识别装置的第1传感器的结构图。

图4是本发明的实施方式1的整体观测时刻决定部的内部结构图。

图5A是表示加速度a(t)与重力加速度g的关系的图。

图5B是表示本发明的实施方式1的量值推测部利用的除了重力加速度以外的加速度的大小|α(t)|的近似式的图。

图6A是用来说明角度差的图。

图6B是表示本发明的实施方式1的角度差计算部利用的角度差的计算式的图。