[发明专利]控制系统以及控制方法

权利要求书

1.一种控制系统，具备：

取得部，取得包含被随时间撮影的用户的图像信息；

判定部，基于从所述图像信息中检测出的所述用户的面部的运动和视线的方向，判定是否进行了预备动作；

估计部，在判定为进行了所述预备动作的情况下，估计使事件发生的定时；以及

输出部，输出由所述估计部估计的估计结果。

2.一种控制系统，具备：

取得部，取得图像信息；

判定部，基于所述图像信息，检测所述图像信息所示的摄影图像中的面部部分的运动、和视线的方向，并使用所述检测出的结果，判定是否进行了与表示使事件发生的定时的暗号动作相关联的预备动作；

估计部，在由所述判定部判定为进行了所述预备动作的情况下，基于所述图像信息，根据所述暗号动作而估计使事件发生的定时；以及

输出部，输出由所述估计部估计的估计结果。

3.如权利要求1或权利要求2所述的控制系统，

所述估计部使用暗号动作估计模型的输出结果，估计使事件发生的定时，所述暗号动作估计模型是如下的模型：将把对包含人的眼睛的面部部分进行了摄影的学习用图像、和判定了所述学习用图像中的表示使事件发生的定时的暗号动作的判定结果进行了关联的数据集合作为教师数据并进行学习，以输出在所输入的图像中是否进行了所述暗号动作。

4.如权利要求1至权利要求3中任一项所述的控制系统，

由表示使事件发生的定时的暗号动作表示的事件是发声的开始，

所述估计部将表示发声的开始的、包含人的眼睛的面部部分的运动作为所述暗号动作，使用表示学习了图像和所述暗号动作的关系的学习结果的暗号动作估计模型，估计表示发声的开始的定时。

5.如权利要求1至权利要求4中任一项所述的控制系统，

由表示使事件发生的定时的暗号动作表示的事件是演奏中的节拍的周期，

所述估计部将表示演奏中的节拍的周期的、包含人的眼睛的面部部分的运动作为所述暗号动作，使用表示学习了图像和所述暗号动作的关系的学习结果的暗号动作估计模型，估计表示演奏中的节拍的周期的定时。

6.如权利要求1至权利要求5中任一项所述的控制系统，

所述判定部基于所述图像信息，在包含人的眼睛的面部部分的运动是特定的第1方向，且所述视线的方向是特定的第2方向的情况下，判定为进行了所述预备动作。

7.如权利要求1至权利要求6中任一项所述的控制系统，

所述判定部使用面部部分提取模型的输出结果，提取所述图像信息所示的摄影图像中的所述面部部分，并基于所提取的面部部分的图像，检测所述面部部分的运动，所述面部部分提取模型是如下模型：将把对包含人的眼睛的面部部分进行了摄影的学习用图像、和判定了所述学习用图像中的所述面部部分的判定结果进行了关联的数据集合作为教师数据并进行学习，以输出所输入的图像中的人的面部部分。

8.如权利要求1至权利要求7中任一项所述的控制系统，

所述图像信息按图像中的每个像素而包含表示与被摄体的距离的深度信息，

所述判定部基于所述深度信息，分离所述图像信息所示的摄影图像中的背景，并基于分离了所述背景的图像，提取该图像中的、包含人的眼睛的面部部分。

9.一种控制方法，

取得部取得图像信息，

判定部基于所述图像信息，检测所述图像信息所示的摄影图像中的面部部分的运动、和视线的方向，并使用所检测出的结果，判定是否进行了与表示使事件发生的定时的暗号动作相关联的预备动作；

估计部在由所述判定部判定为进行了所述预备动作的情况下，基于所述图像信息，根据所述暗号动作而估计使事件发生的定时；以及

输出部输出由所述估计部估计的估计结果。