[发明专利]讲话区间检测装置、讲话区间检测方法及讲话区间检测程序

权利要求书

1.一种讲话区间检测装置，包括：

第1嘴唇形状估计部，基于包括讲话者的声音的声响数据估计所述讲话者的第1嘴唇形状；

第2嘴唇形状估计部，基于至少拍摄到所述讲话者的面部的图像数据估计所述讲话者的第2嘴唇形状；和

讲话区间检测部，基于所述第1嘴唇形状的变化和所述第2嘴唇形状的变化，在所述声响数据中检测所述讲话者发出声音的讲话区间。

2.根据权利要求1所述的讲话区间检测装置，其中，

所述第1嘴唇形状估计部根据所述声响数据估计所述讲话者的声道形状，基于该估计出的声道形状，计算嘴唇的张嘴程度作为将所述第1嘴唇形状数值化了的第1参数；

所述第2嘴唇形状估计部在所述图像数据中提取所述讲话者的嘴唇区域，基于提取出的嘴唇区域，计算嘴唇的张嘴程度作为将所述第2嘴唇形状数值化了的第2参数。

3.根据权利要求1所述的讲话区间检测装置，其中，

所述第1嘴唇形状估计部根据所述声响数据估计所述讲话者的声道形状，基于该估计出的声道形状，计算嘴唇的张嘴程度作为将所述第1嘴唇形状数值化了的第1参数；

所述第2嘴唇形状估计部提取所述图像数据中的所述讲话者的嘴唇区域，基于提取出的嘴唇区域，计算嘴唇的活动量作为将所述第2嘴唇形状数值化了的第2参数。

4.根据权利要求2或3所述的讲话区间检测装置，其中，

所述讲话区间检测部计算表示所述第1参数与所述第2参数的相关的程度的相关值，检测计算出的相关值比给定阈值大的所述声响数据的区间作为所述讲话区间。

5.根据权利要求4所述的讲话区间检测装置，其中，

在所述图像数据拍摄到所述讲话者的身体的至少一部分，

所述讲话区间检测装置还具有：运动量计算部，基于所述图像数据中的所述讲话者的所述身体的至少一部分计算所述讲话者的运动量，

所述讲话区间检测部在所述运动量比给定门限运动量大的情况下，对所述第1参数比所述第2参数大地进行加权，从而计算所述相关值。

6.根据权利要求4所述的讲话区间检测装置，其中，

所述讲话区间检测装置还具有：SN比计算部，计算所述声响数据的SN比；

所述讲话区间检测部在所述SN比小于给定门限SN比的情况下，对所述第2参数比所述第1参数大地进行加权，从而计算所述相关值。

7.根据权利要求1至6中任一项所述的讲话区间检测装置，其中，

所述讲话区间检测装置还具有：

麦克风设备，获取所述声响数据；和

相机，获取所述图像数据。

8.根据权利要求7所述的讲话区间检测装置，其中，

所述麦克风设备是包括指向性不同的多个指向性麦克风的麦克风阵列。

9.一种讲话区间检测方法，在包括讲话者的声音的声响数据中，检测所述讲话者发出声音的讲话区间，

所述讲话区间检测方法，

获取所述声响数据；

获取至少拍摄到所述讲话者的面部的图像数据；

基于所述声响数据估计所述讲话者的第1嘴唇形状的变化；

基于所述图像数据估计所述讲话者的第2嘴唇形状的变化；

基于所述第1嘴唇形状的变化和所述第2嘴唇形状的变化检测所述声响数据中的所述讲话区间。

10.一种讲话区间检测程序，安装于具备处理器的装置的存储设备，用于使所述处理器在包括讲话者的声音的声响数据中检测所述讲话者发出声音的讲话区间，

所述讲话区间检测程序用于使所述处理器：

基于所述声响数据估计所述讲话者的第1嘴唇形状；

基于至少拍摄到所述讲话者的面部的图像数据估计所述讲话者的第2嘴唇形状；以及

基于所述第1嘴唇形状的变化和所述第2嘴唇形状的变化，在所述声响数据中检测所述讲话区间。