[发明专利]控制系统以及控制方法

说明书

提供能够基于面部的运动而估计使事件发生的定时的控制系统以及控制方法。具备：取得部，取得图像信息；判定部，基于所述图像信息，检测所述图像信息所示的摄影图像中的面部部分的运动、和视线的方向，使用所述检测出的结果，判定是否进行了与表示使事件发生的定时的暗号动作相关联的预备动作；估计部，在由所述判定部判定为进行了所述预备动作的情况下，基于所述图像信息，估计使事件发生的定时；以及输出部，输出由所述估计部估计的估计结果。

技术领域

本发明涉及控制系统以及控制方法。

背景技术

以往，提出了通过解析用于演奏乐曲的声音，估计乐曲内当前演奏的位置(以下称为“演奏位置”)的乐谱对准技术(例如专利文献1)。

现有技术文献

专利文献

专利文献1：(日本)特开2015－79183号公报

发明内容

发明所要解决的课题

另外，在演奏者和自动演奏乐器等进行合奏的合奏系统中，例如，进行以下处理：基于演奏者所进行的演奏的乐谱上的位置的估计结果，预想自动演奏乐器发出下一声音的事件的定时。但是，在实际上人和人的合奏中，在配合乐曲的开始或延长符号(fermata)的恢复、乐曲最后的声音的发出等时，有时通过目光接触等暗号动作来配合定时。

本发明是鉴于这种状况而完成的，其目的在于，提供能够基于面部的运动而估计使事件发生的定时的控制系统以及控制方法。

用于解决课题的手段

为了解决上述课题，本发明的一方式是控制系统，其具备：取得部，取得包含被随时间撮影的用户的图像信息；判定部，基于从所述图像信息中检测出的所述用户的面部的运动和视线的方向，判定是否进行了预备动作；估计部，在判定为进行了所述预备动作的情况下，估计使事件发生的定时；以及输出部，输出由所述估计部估计的估计结果。

为了解决上述课题，本发明的一方式是控制系统，其具备：取得部，取得图像信息；判定部，基于所述图像信息，检测所述图像信息所示的摄影图像中的面部部分的运动和视线的方向，并使用所述检测出的结果，判定是否进行了与表示使事件发生的定时的暗号动作相关联的预备动作；估计部，在由所述判定部判定为进行了所述预备动作的情况下，基于所述图像信息，根据所述暗号动作而估计使事件发生的定时；以及输出部，输出由所述估计部估计的估计结果。

此外，本发明的一方式是一种控制方法，取得部取得图像信息；判定部基于所述图像信息，检测所述图像信息所示的摄影图像中的面部部分的运动和视线的方向，并使用所述检测出的结果，判定是否进行了与表示使事件发生的定时的暗号动作相关联的预备动作；估计部在由所述判定部判定为进行了所述预备动作的情况下，基于所述图像信息，根据所述暗号动作而估计使事件发生的定时；输出部输出由所述估计部估计的估计结果。

发明效果

根据本发明，能够基于面部的运动而估计使事件发生的定时。

附图说明

图1是本发明的实施方式所涉及的自动演奏系统的框图。

图2是暗号动作以及演奏位置的说明图。

图3是图像合成部所进行的图像合成的说明图。

图4是演奏对象曲目的演奏位置和自动演奏的指示位置的关系的说明图。

图5是暗号动作的位置和演奏对象曲目的演奏的起点的关系的说明图。

图6是演奏图像的说明图。

图7是演奏图像的说明图。

图8是控制装置的动作的流程图。