[发明专利]讲话区间检测装置、讲话区间检测方法及讲话区间检测程序在审
申请号: | 202080042621.X | 申请日: | 2020-06-05 |
公开(公告)号: | CN113939871A | 公开(公告)日: | 2022-01-14 |
发明(设计)人: | 广濑良文 | 申请(专利权)人: | 松下知识产权经营株式会社 |
主分类号: | G10L25/84 | 分类号: | G10L25/84;G10L15/04;G10L25/75;G06T7/00;G06T7/62 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 王亚爱 |
地址: | 日本*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 讲话 区间 检测 装置 方法 程序 | ||
1.一种讲话区间检测装置,包括:
第1嘴唇形状估计部,基于包括讲话者的声音的声响数据估计所述讲话者的第1嘴唇形状;
第2嘴唇形状估计部,基于至少拍摄到所述讲话者的面部的图像数据估计所述讲话者的第2嘴唇形状;和
讲话区间检测部,基于所述第1嘴唇形状的变化和所述第2嘴唇形状的变化,在所述声响数据中检测所述讲话者发出声音的讲话区间。
2.根据权利要求1所述的讲话区间检测装置,其中,
所述第1嘴唇形状估计部根据所述声响数据估计所述讲话者的声道形状,基于该估计出的声道形状,计算嘴唇的张嘴程度作为将所述第1嘴唇形状数值化了的第1参数;
所述第2嘴唇形状估计部在所述图像数据中提取所述讲话者的嘴唇区域,基于提取出的嘴唇区域,计算嘴唇的张嘴程度作为将所述第2嘴唇形状数值化了的第2参数。
3.根据权利要求1所述的讲话区间检测装置,其中,
所述第1嘴唇形状估计部根据所述声响数据估计所述讲话者的声道形状,基于该估计出的声道形状,计算嘴唇的张嘴程度作为将所述第1嘴唇形状数值化了的第1参数;
所述第2嘴唇形状估计部提取所述图像数据中的所述讲话者的嘴唇区域,基于提取出的嘴唇区域,计算嘴唇的活动量作为将所述第2嘴唇形状数值化了的第2参数。
4.根据权利要求2或3所述的讲话区间检测装置,其中,
所述讲话区间检测部计算表示所述第1参数与所述第2参数的相关的程度的相关值,检测计算出的相关值比给定阈值大的所述声响数据的区间作为所述讲话区间。
5.根据权利要求4所述的讲话区间检测装置,其中,
在所述图像数据拍摄到所述讲话者的身体的至少一部分,
所述讲话区间检测装置还具有:运动量计算部,基于所述图像数据中的所述讲话者的所述身体的至少一部分计算所述讲话者的运动量,
所述讲话区间检测部在所述运动量比给定门限运动量大的情况下,对所述第1参数比所述第2参数大地进行加权,从而计算所述相关值。
6.根据权利要求4所述的讲话区间检测装置,其中,
所述讲话区间检测装置还具有:SN比计算部,计算所述声响数据的SN比;
所述讲话区间检测部在所述SN比小于给定门限SN比的情况下,对所述第2参数比所述第1参数大地进行加权,从而计算所述相关值。
7.根据权利要求1至6中任一项所述的讲话区间检测装置,其中,
所述讲话区间检测装置还具有:
麦克风设备,获取所述声响数据;和
相机,获取所述图像数据。
8.根据权利要求7所述的讲话区间检测装置,其中,
所述麦克风设备是包括指向性不同的多个指向性麦克风的麦克风阵列。
9.一种讲话区间检测方法,在包括讲话者的声音的声响数据中,检测所述讲话者发出声音的讲话区间,
所述讲话区间检测方法,
获取所述声响数据;
获取至少拍摄到所述讲话者的面部的图像数据;
基于所述声响数据估计所述讲话者的第1嘴唇形状的变化;
基于所述图像数据估计所述讲话者的第2嘴唇形状的变化;
基于所述第1嘴唇形状的变化和所述第2嘴唇形状的变化检测所述声响数据中的所述讲话区间。
10.一种讲话区间检测程序,安装于具备处理器的装置的存储设备,用于使所述处理器在包括讲话者的声音的声响数据中检测所述讲话者发出声音的讲话区间,
所述讲话区间检测程序用于使所述处理器:
基于所述声响数据估计所述讲话者的第1嘴唇形状;
基于至少拍摄到所述讲话者的面部的图像数据估计所述讲话者的第2嘴唇形状;以及
基于所述第1嘴唇形状的变化和所述第2嘴唇形状的变化,在所述声响数据中检测所述讲话区间。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于松下知识产权经营株式会社,未经松下知识产权经营株式会社许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202080042621.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:医药组合物
- 下一篇:从身体内腔中取出材料