[发明专利]一种基于语音雷达与视频的语音合成方法

摘要

本发明公开了一种基于语音雷达的新型语音合成方法，处理步骤如下：由雷达回波信号获得声带振动频率作为语音基频；由发音者发音时嘴唇视频信息提取的运动特征和麦克风同步获取语音信号提取的共振峰进行拟合，获得嘴唇的运动特征和共振峰映射关系的经验公式；将测试者发音时的嘴唇视频作为输入，获得时变共振峰；最后由获得的基频和时变共振峰进行语音合成。利用本发明的方法，可以不接触发音者体，将语音雷达与图像信息相结合，实现语音合成。

主权项

1.一种基于语音雷达与视频的语音合成方法，其特征在于，包括以下步骤：步骤1、利用雷达回波信号获取语音的基频信息，具体为：非接触式语音雷达向发音者发送连续正弦波，接收天线接收回波信号，之后对接收到的回波信号进行预处理、基频与高次谐波模式分解、时频信号处理，从而获得时变声带振动的频率即语音信号的基频；步骤2、将发音者发音时嘴唇视频信息提取的时变运动特征和麦克风同步获取语音信号提取的时变共振峰进行拟合，获得嘴唇的时变运动特征和时变共振峰映射关系的经验公式；步骤3、将待合成语音的发音者嘴唇视频信息为输入，利用步骤2中的得到嘴唇的时变运动特征和时变共振峰映射关系的经验公式进行计算，得到发音者语音的N组时变共振峰，其中N为不小于三的整数；步骤4、由雷达回波获取的语音信号的基频和步骤3获得的N组时变共振峰进行语音合成，得到最终合成的语音信号。