[发明专利]声音期间检测装置、声音期间检测方法、存储介质、声音认识装置以及机器人

说明书

本发明提供一种声音期间检测装置，能合适地检测对象者的声音期间。声音期间检测部(301)基于由摄像单元摄像的对象者的嘴唇的摄像图像来检测对象者正发声的期间即声音期间。呼吸期间判定部(304)基于对象者的嘴唇的摄像图像来判定对象者的嘴唇伴随即将发声前的呼吸而活动的期间即即将发声前呼吸期间。声音期间检测部(301)使对象者的声音期间中不含由呼吸期间判定部(304)判定的即将发声前呼吸期间地检测对象者的声音期间。

关联申请的参考

关于本申请，主张以在2018年6月21日申请的日本专利申请2018-118159以及2019年6月6日申请的日本专利申请2019-105860为基础的优先权，将该基础申请的内容全都引入到本申请。

技术领域

本发明涉及声音期间检测装置、声音期间检测方法、存储介质、声音认识装置以及机器人。

背景技术

过去，为了一边抑制噪声的影响一边认识说话的对象者(以下称作「对象者」)的声音，作为基于对象者的嘴唇的活动信息来检测对象者正发声的期间即声音期间(声音区间)的声音期间检测装置，例如已知特开平6-301393号公报记载的装置。在该现有的声音期间检测装置中，嘴唇的活动信息被小波变换，从由此得到的小波变换信息检测声音期间。或者从嘴唇的活动信息使用神经网络检测声音期间。

另一方面，对象者的嘴唇的开闭动作(张开或闭上嘴唇的动作)的定时和对象者的发声的定时不一定一致。上述的现有的声音认识装置由于未对这点有任何考虑，因此有可能会将对象者未发声的期间包含在检测到的声音期间中，不能合适地进行声音期间的检测。

发明内容

本发明用于解决以上那样的课题，目的在于，合适地检测对象者的声音期间。

为了达成所述目的，本发明所涉及的声音期间检测装置的一个方案具备：声音期间检测单元，其基于由摄像单元摄像的对象者的嘴唇的摄像图像来检测对象者正发声的期间即声音期间；和呼吸期间判定单元，其基于对象者的嘴唇的摄像图像来判定对象者的嘴唇伴随即将发声前的呼吸而活动的期间即即将发声前呼吸期间，声音期间检测单元不使由呼吸期间判定单元检测到的即将发声前呼吸期间包含在对象者的声音期间中地检测对象者的声音期间。

发明的效果

根据本发明，能合适地检测对象者的声音期间。

附图说明

图1是本发明的实施方式所涉及的机器人的外观图。

图2是表示机器人的结构的框图。

图3是表示机器人的对话功能的结构的框图。

图4是表示用于执行机器人的对话功能中的声音期间检测处理和声音认识处理的处理的一例的流程图。

图5是表示嘴开闭判定处理的一例的流程图。

图6是表示带标号的脸部件检测结果的格式例的图。

图7是适宜表征头部的转动的自由度的图。

图8是表示第1给定时间的设定处理的示例的流程图。

具体实施方式

以下参考附图来详细说明用于实施本发明的形态。图1是示意表示从正面来看具备实施方式所涉及的声音期间检测装置以及声音认识装置的机器人100的情况下的外观的图。机器人100是具备头部101和躯干102的人型的交流机器人。机器人100例如设置在住宅内，若被给定的对象即住户等(以下记载为「对象者」)招呼，则与招呼的对象者进行会话。

如图1所示那样，在机器人100的头部101设置摄像机104、作为声音取得单元发挥功能的麦克风阵列103、扬声器105、传感器群106、颈关节驱动部107和脚下驱动部108。