[发明专利]一种由唇部图像特征到语音编码参数的转换方法

权利要求书

1.一种由唇部图像特征到语音编码参数的转换方法，其特征在于，包括以下步骤：

1)构建语音编码参数转换器，包括输入缓存和训练后的预测器，按照时间先后顺序依次接收唇部特征向量，并将其存储在转换器的输入缓存中；

2)每隔一定的时间，将当前时刻缓存的k个最新的唇部特征向量作为一个短时向量序列送入预测器，并获取一个预测结果，该预测结果为一个语音帧的编码参数向量，所述的预测器采用人工神经网络，所述的人工神经网络由3个LSTM层和2个全连接层依次连接组成，所述的预测器的训练方法具体包括以下步骤：

21)同步采集视频和语音：通过视频和音频采集设备，同步采集视频和对应的语音数据，并从视频中提取唇部图像，包括整个嘴部以及以嘴为中心的一个矩形区域，获取由一系列唇部图像I₁,I₂,...,I_n组成的唇部视频，所述的语音数据为语音样值序列S₁,S₂,...,S_M，并使唇部图像和语音数据保持时间对应关系；

22)获取任意时刻t的唇部特征向量短时序列FIS _t，对唇部视频中的每一帧唇部图像I计算其图像特征向量FI，获得一系列唇部特征向量FI₁,FI₂,...,FI_n，对给定的任意时刻t，提取k个连续的唇部特征向量作为t时刻的唇部特征向量短时序列FIS _t＝(FI_t-k+1,...,FI_t-2,F_t-1,FI_t)，其中，FI_t为时间上最接近t的一个唇部特征向量，k为指定参数，获取唇部特征向量具体包括以下步骤：

对于每帧唇部图像，提取围绕嘴唇的内边缘和外边缘共20个特征点，获取这20个特征点的中心坐标，并将各个点的坐标都减去该中心坐标，得到40个坐标数据，对40个坐标值进行归一化处理，最终获取一个唇部特征向量；

23)获取任意时刻t的语音帧编码参数向量FA_t，对任意时刻t，提取L个连续语音采样值作为一个语音帧A_t＝(S_t-L+1,...,S_t-2,S_t-1,S_t)，其中S_t是时间上最接近t的一个语音采样，采用语音分析算法计算该语音帧的编码参数，即为t时刻的语音帧编码参数向量FA_t，其中，L为固定参数；

24)采用样本训练预测器：任取一时刻t，根据步骤22)和23)得到的训练样本对{FIS _t，A_t}作为预测器的输入和期望输出，并在有效范围内随机选取多个t值，依据预测器的类型，对预测器进行训练，所述的语音分析算法为LPC10e算法，所述的编码参数向量为LPC参数，包括1个前半帧清浊音标志、1个后半帧清浊音标志、1个基音周期、1个增益和10个反射系数；

3)语音编码参数转换器输出预测结果。

2.根据权利要求1所述的一种由唇部图像特征到语音编码参数的转换方法，其特征在于，所述的步骤22)中，采用对唇部特征向量进行时间插值使其帧率加倍，或采用高速的图像采集设备进行采集的方式提高唇部特征向量的帧率。