[发明专利]讲话区间检测装置、讲话区间检测方法及讲话区间检测程序

说明书

讲话区间检测装置包括：第1嘴唇形状估计部，基于包括讲话者的声音的声响数据估计讲话者的第1嘴唇形状；第2嘴唇形状估计部，基于至少拍摄到讲话者的面部的图像数据估计讲话者的第2嘴唇形状；和讲话区间检测部，基于第1嘴唇形状的变化和所述第2嘴唇形状的变化，在声响数据中检测讲话者发出声音的讲话区间。

技术领域

本公开涉及用于在包括讲话者(発話者)的声音的声响数据中，检测讲话者发出声音的讲话(発話，utterance)区间的装置、方法以及程序。

背景技术

例如，在专利文献1中，公开了基于由相机获取到的图像(图像数据)中拍摄到的讲话者的嘴唇形状的变化来检测由麦克风采集的声音(声响数据)中的讲话者的声音的讲话区间(讲话区间)的装置以及方法。

在先技术文献

专利文献

专利文献1：日本特开2008-152125号公报

发明内容

发明要解决的课题

然而，在专利文献1所记载的装置以及方法的情况下，在相机的摄影范围内讲话者正在步行、正在移动头部等正在运动的情况下，提取该相机的摄影图像数据中的讲话者的嘴唇区域的精度下降。其结果，将讲话者未发出声音的声响数据的区间误检测为讲话区间等、讲话区间的检测精度有可能下降。

因此，本公开以在包括讲话者的声音在内的声响数据中高精度地检测讲话者发出声音的讲话区间为课题。

用于解决课题的手段

根据本公开的一个方式，提供讲话区间检测装置，该讲话区间检测装置包括：第1嘴唇形状估计部，基于包括讲话者的声音的声响数据估计所述讲话者的第1嘴唇形状；第2嘴唇形状估计部，基于至少拍摄到所述讲话者的面部的图像数据估计所述讲话者的第2嘴唇形状；和讲话区间检测部，基于所述第1嘴唇形状的变化和所述第2嘴唇形状的变化，在所述声响数据中检测所述讲话者发出声音的讲话区间。

此外，根据本公开的另外的方式，提供在包括讲话者的声音的声响数据中检测所述讲话者发出声音的讲话区间的讲话区间检测方法，该讲话区间检测方法包括：获取所述声响数据；获取至少拍摄到所述讲话者的面部的图像数据；基于所述声响数据估计所述讲话者的第1嘴唇形状的变化；基于所述图像数据估计所述讲话者的第2嘴唇形状的变化；和基于所述第1嘴唇形状的变化和所述第2嘴唇形状的变化检测所述声响数据中的所述讲话区间。

进一步地，根据本公开的又一的方式，提供讲话区间检测程序，被安装在具备处理器的装置的存储设备，用于使所述处理器在包括讲话者的声音的声响数据中检测所述讲话者发出声音的讲话区间，所述讲话区间检测程序用于使所述处理器：基于所述声响数据估计所述讲话者的第1嘴唇形状；基于至少拍摄到所述讲话者的面部的图像数据估计所述讲话者的第2嘴唇形状；以及基于所述第1嘴唇形状的变化和所述第2嘴唇形状的变化，在所述声响数据中检测所述讲话区间。

此外，根据本公开的不同的方式，提供讲话区间检测装置，包括：第1嘴唇形状估计部，基于包括讲话者的声音的声响数据计算所述讲话者的第1张嘴程度；第2嘴唇形状估计部，基于至少拍摄到所述讲话者的面部的图像数据计算所述讲话者的第2张嘴程度；和讲话区间检测部，基于所述第1张嘴程度的变化和所述第2张嘴程度的变化，在所述声响数据中检测所述讲话者发出声音的讲话区间。

另外，根据本公开的又一不同的方式，提供讲话区间检测装置，包括：第1嘴唇形状估计部，基于包括讲话者的声音的声响数据计算所述讲话者的第1嘴唇运动量；第2嘴唇形状估计部，基于至少拍摄到所述讲话者的面部的图像数据计算所述讲话者的第2嘴唇运动量；和讲话区间检测部，基于所述第1嘴唇运动量和第2嘴唇运动量的变化，在所述声响数据中检测所述讲话者发出声音的讲话区间。

发明效果