[发明专利]一种由唇部视频直接生成语音的方法

权利要求书

1.一种由唇部视频直接生成语音的方法，其特征在于，包括以下步骤：

1)获取唇部视频：采用摄像装置采集包含嘴唇的视频，并提取嘴唇区域，得到嘴唇部分的视频；

2)获取唇部部特征向量：对嘴唇部分的视频中每一帧图像，围绕嘴唇的内唇边缘和外唇边缘提取多个用以描述嘴唇形状的特征点，获取特征点的x，y坐标并做归一化处理后得到当前帧图像的唇部特征向量，以此获取一系列的唇部特征向量，围绕嘴唇的内唇边缘和外唇边缘提取20个用以描述嘴唇形状的特征点，并对这些特征点坐标值依据人脸参数进行姿态矫正和归一化处理；

3)唇音转换：将得到的唇部特征向量输入到唇音转换器中，唇音转换器将唇部特征向量进行短时缓存，每间隔一定的时间Δt，唇音转换器将最新缓存的k个唇部特征向量进行一次语音帧参数向量的转换，并输出该语音帧参数向量，所述的唇音转换器的参数包括Δt和k，所述的一定的时间Δt为一个语音帧的时间，所述的一定的时间Δt取值为22.5ms，k设置为0.5秒钟的图像数，对于每秒50帧的视频帧率，k取值为25，采用LPC10e算法进行语音帧参数向量的转换所述的语音帧参数向量包括2个清浊音标志、1个基因周期、1个增益和10个反射系数；

4)语音合成：根据从唇音转换器输出的语音帧参数向量进行语音合成，将语音帧参数向量合成为语音帧，还原音频采样并输出语音，合成的一帧语音帧A包含180个音频采样。