[发明专利]一种双视位口型合成方法

权利要求书

1.一种双视位口型合成方法，其特征在于，包括：

将汉语普通话中的发音进行视位归类，共分为13类；

根据视位归类录制相应口型视频；

根据原始的口型视频建立基本口型视位库；

对基本口型视位库进行双视位处理，从而获得基本口型双视位库；

利用语音识别技术对新输入的语音进行识别，得到文本材料，对文本材料经过声韵母识别后，在基本口型双视位库中查找每一个声韵母所对应的口型视位，并将所述口型视位插入到对应的时间点当中，形成一段离散的口型序列，并将该离散的口型序列经过平滑处理得到连续的口型序列。

2.根据权利要求1所述的双视位口型合成方法，其特征在于，将汉语普通话中的发音进行视位归类，共分为13类，具体包括：

将汉语普通话中的21个声母和6个单韵母根据口型视位的相似度进行分类，对于复韵母和鼻韵母，根据发音时的口型视位，拆分成21个声母和6个单韵母的组合，从而完成对汉语普通话中所有声母和韵母的归类，归类情况如下：

第一类：[a]；第二类：[b\p\m]；第三类：[d\t\n\l]；第四类：[e]；第五类：[f]；第六类：[g\k\h]；第七类：[i]；第八类：[j\q\x]；第九类：[o]；第十类：[u]；第十一类：[ü]；第十二类：[z\c\s]；第十三类：[zh\ch\sh\r]。

3.根据权利要求1所述的双视位口型合成方法，其特征在于，根据视位归类录制相应口型视频具体包括：

使用摄像支架固定相机，调整摄像头正对着人脸，录制时，只允许人脸中的嘴唇和下巴运动，采用录像的方式录制13种发音口型对应的口型视频。

4.根据权利要求1所述的双视位口型合成方法，其特征在于，根据视位归类录制相应口型视频，还包括将录制的口型视频进行矫正和消抖处理；

所述矫正和消抖处理包括：

利用开源的人脸对齐技术OpenFace识别嘴唇和下巴的特征点，得到每一个特征点在实际坐标系中运动的坐标；

从OpenFace识别结果中获取每一帧人脸的翻滚角度，对识别出来的嘴唇和下巴的特征点的三维坐标做矫正处理，让嘴唇的特征点基本保持在水平位置上；

对特征点进行抖动消除处理，以距离嘴唇最近的面部静止特征点作为抖动消除的基准，其它所有的嘴部特征点与该基准做差值，从而消除口型录制对象的微小抖动。

5.根据权利要求2所述的双视位口型合成方法，其特征在于，对基本口型视位库进行双视位处理，从而获得基本口型双视位库具体包括：

在第二类(b\p\m)的口型视位前增加一个闭嘴动作的口型视位作为这第二类发音前的口型视位，其他十二类的口型视位不变，得到基本口型双视位库。

6.根据权利要求1所述的双视位口型合成方法，其特征在于，利用语音识别技术对新输入的语音进行识别，得到文本材料，对文本材料经过声韵母识别后，在基本口型双视位库中查找每一个声韵母所对应的口型视位，并将所述口型视位插入到对应的时间点当中，即可形成一段离散的口型序列，并将该离散的口型序列经过平滑处理得到连续的口型序列具体包括：

对新输入的语音进行降噪处理，将利用语音识别技术识别出来的文本材料进行声韵母提取分割，并且根据口型视位的相似度将其中的复韵母和鼻韵母拆分成21个声母和6个单韵母的排列组合，在基本口型双视位库中查找每一个声韵母对应的口型视位插入到对应的时间点当中，形成一段离散的口型序列，最后通过平滑处理的方法对该段口型序列进行平滑处理合成一段连续的口型序列。

7.根据权利要求6所述的双视位口型合成方法，其特征在于，所述平滑处理的方法包括线性插值、二次插值、三次插值。

8.根据权利要求1所述的双视位口型合成方法，其特征在于，所述新输入的语音为汉语普通话。