[发明专利]一种自动调节的咽腔电子喉语音通讯系统及方法

权利要求书

1.一种自动调节的咽腔电子喉语音通讯系统，包括电子喉振荡器(2)，音视频采集模块与计算机软硬件系统，音视频采集模块包括麦克风、摄像头，摄像头和麦克风(3)固定于麦克风支架上，耳机(1)下方设置有固定带，电子喉施加装置设置于固定带(5)上，其特征在于：

该系统包括下述三个主要模块：

1)发声过程中面部和颈部运动图像采集与处理模块，实现从运动图像的分析到视觉语音特征参数的提取；

2)咽腔嗓音源动态合成模块，将提取的视觉语音特征参数转换为嗓音源合成模型参数，并按照咽腔嗓音源数学模型合成波形；

3)咽腔电子喉重建语音实时增强与网络通讯模块，对采集的咽腔电子喉重建语音进行实时增强处理，并将处理后的语音进行远程网络传输，实现网络通讯功能；

摄像头通过数据连接线将采集到的运动图像作为输入信号传输给运动图像处理模块进行视觉语音特征参数提取；运动图像处理后输出的视觉语音特征参数，又作为输入信号进入咽腔嗓音源动态合成模块控制波形的合成；合成的咽腔嗓音源波形再次通过数据线输出给电子喉施加装置，施加于颈部咽腔处；重建的咽腔电子喉语音经麦克风设备采集后，通过数据线输入语音实时增强模块，同时语音实时增强模块也接收咽腔嗓音源动态合成模块的输入信号；通讯模块的输入则包括摄像头采集的视频信号与增强后输出的语音信号两部分，最终经过网络输出到另一个客户端，同时另一个客户端发出的音视频信号也是在通讯模块接收并播放；

由电子喉施加装置向计算机软硬件系统传输音视频信号进行处理，计算机软硬件系统提取的图像采集与处理模块产生的开关信号与合成的咽腔嗓音源信号传输给电子喉施加装置，电子喉施加装置工作所需的电能由计算机软硬件系统提供。

2.根据权利要求1所述的一种自动调节的咽腔电子喉语音通讯系统，其特征在于：音视频采集模块同时开始工作，利用摄像头获取发声过程中使用者面部和颈部的运动图像作为系统输入，图像处理模块对输入图像进行预处理，去除干扰信号，再利用人脸肤色特征目标区域定位、分割、特征参数提取，以及特征区域运动的跟踪，得到与发声特征相关的视觉语音特征参数，再经自动控制合成系统通过关系转换由视觉语音特征参数推导出咽腔嗓音源合成所需的模型参数和图像采集与处理模块产生的开关信号，控制咽腔嗓音源波形合成以及电子喉施加装置的振动；与此同时，麦克风记录下咽腔电子喉重建语音信号，结合图像采集与处理模块产生的开关信号和咽腔嗓音源合成波形，指导泄露周期噪声和环境噪声的估计，以及谱减参数的调整，并对音频采集模块采集的信号进行谱减语音增强处理，最终将得到的视频图像和增强的音频信号整合后，由网络通讯模块完成发送、接收和本地播放，实现远程通讯。

3.根据权利要求2所述的自动调节的咽腔电子喉语音通讯系统，其特征在于：所述的面部运动图像处理主要是利用嘴唇形状特征反应发声起止的变化提取电子喉开关信号，具体步骤如下：

1)初始化参数，采集一帧视频图像；

2)利用唇色滤波器计算规定矩形范围的唇色特征值，并归一化为0-255灰度级，得到唇色特征值图像，如果存在前一帧，利用前一帧唇部区域范围和肤色平均特征值，指导这一帧计算；

3)利用改进的最大类间方差Otsu法计算最佳分割阈值，以此进行图像二值化分割，得到唇部预分割图像，如果存在前一帧，利用前一帧分割阈值指导这一帧分割阈值的计算；

4)对嘴唇预分割图像进行阈值面积消去处理，消除较小的图像噪声和背景干扰块；

5)对嘴唇区域进行轮廓和中心点提取，利用改进的一维哈夫Hough变换检测得到匹配嘴唇的椭圆模型长短轴参数，同时得到嘴唇区域范围，用于指导下一帧唇色特征值计算，如果存在前一帧，利用前一帧的长短轴指导这一帧的椭圆匹配；

6)以长短轴之比作为嘴形判别，通过与阈值比较，得到开关电平信号，输出作为电子喉开关控制信号。