[发明专利]操作判定装置以及操作判定方法

权利要求书

1.一种操作判定装置，配置成判定用户针对显示图像以非接触方式进行的操作，包括：

图像取得部，取得所述用户的拍摄图像，所述拍摄图像包括所述用户的指尖和所述用户的眼睛两者；以及

图像处理部，对所述拍摄图像进行图像处理，并且判定基于所述眼睛在所述拍摄图像中的位置的所述用户的视线的位置、所述用户的指尖在所述拍摄图像中的位置、和所述用户的指尖针对所述显示图像的动作，

其中所述图像取得部取得由相对于所述用户放置在左前方的左图像传感器获得的第一图像数据、以及由相对于所述用户放置在右前方的右图像传感器获得的第二图像数据，其中所述图像处理部包括：

第一处理部，配置成对在所述拍摄图像内的所述用户的眼睛和指尖的位置进行检测；以及

第二处理部，基于检测出的在所述拍摄图像内的所述用户的眼睛和指尖的位置，计算相对于对所述显示图像进行显示的显示面的、所述用户的视线和指尖的位置，并且判定所述用户的指尖的动作，

其中所述第一处理部由执行所述用户的眼睛和指尖的特定的检测处理的硬件构成，并且所述第二处理部由在处理器上执行的软件构成，所述软件基于所述第一处理部的输出来执行相对于所述显示面的所述用户的视线和指尖的位置的计算，

其中，为了生成所述输出，所述第一处理部包括：

第一硬件，配置成基于第一图像数据来生成第一坐标位置信息，所述第一坐标位置信息指示二维图像上的所述用户的眼睛和指尖的位置，以及

第二硬件，配置成基于第二图像数据来生成第二坐标位置信息，所述第二坐标位置信息指示二维图像上的所述用户的眼睛和指尖的位置，并且

其中，所述第一硬件包括：

第一面部识别硬件，配置成基于第一图像数据来执行面部识别处理；

第一眼睛识别硬件，配置成基于第一面部识别硬件的输出来执行眼睛识别处理；

第一2D坐标变换硬件，配置成基于第一眼睛识别硬件的输出来生成指示二维图像上的所述眼睛的位置的坐标位置信息；

第一手部识别硬件，配置成基于第一图像数据来执行手部识别处理；

第一指尖识别硬件，配置成基于第一手部识别硬件的输出来执行指尖识别处理；以及

第二2D坐标变换硬件，配置成基于第一指尖识别硬件的输出来生成指示二维图像上的所述指尖的位置的坐标位置信息，并且

所述第二硬件包括：

第二面部识别硬件，配置成基于第二图像数据来执行面部识别处理；

第二眼睛识别硬件，配置成基于第二面部识别硬件的输出来执行眼睛识别处理；

第三2D坐标变换硬件，配置成基于第二眼睛识别硬件的输出来生成指示二维图像上的所述眼睛的位置的坐标位置信息；

第二手部识别硬件，配置成基于第二图像数据来执行手部识别处理；

第二指尖识别硬件，配置成基于第二手部识别硬件的输出来执行指尖识别处理；以及

第四2D坐标变换硬件，配置成基于第二指尖识别硬件的输出来生成指示二维图像上的所述指尖的位置的坐标位置信息。

2.根据权利要求1所述的操作判定装置，

其中所述第一处理部将在所述拍摄图像内的所述用户的眼睛的位置和所述用户的指尖的位置变换为二维坐标平面上的位置坐标，并且

其中所述第二处理部基于所述位置坐标来计算相对于所述显示面的、所述用户的视线和指尖的位置。

3.根据权利要求2所述的操作判定装置，

其中多个逻辑电路对所述拍摄图像依次执行矩阵运算，并且所述第一处理部基于利用所述多个逻辑电路的所述矩阵运算的运算结果来检测在所述拍摄图像内的所述用户的眼睛和指尖的位置。

4.根据权利要求3所述的操作判定装置，

其中多个存储器单元分别储存所述多个逻辑电路的所述矩阵运算的运算结果，并且其中所述多个逻辑电路的各个基于从所述多个存储器单元之中的对应的存储器单元读出的数据来执行所述矩阵运算。