[发明专利]基于中文发音视觉特点的唇语识别方法

权利要求书

1.一种基于中文发音视觉特点的唇语识别方法，其特征在于，包括以下步骤：

步骤1，将64×80像素的视频帧序列x₁,x₂,…,x_m输入到一个10层的卷积神经网络，提取得到512维的嘴唇特征向量；

步骤2，以拼音作为建模单元，将嘴唇特征向量输入到带有注意机制的序列到序列模型，得到汉语拼音序列；

步骤3，重复步骤1和步骤2，为预测得到的拼音序列中的声母和与之对应的实际拼音序列中的声母建立混淆矩阵，通过对声母的混淆程度进行归类，得到视觉拼音与对应拼音的映射关系；

步骤4，将步骤2中的建模单元替换成步骤3中得到的视觉拼音，重新对模型进行训练，将重新训练得到的模型命名为视觉拼音预测模型V2VP，V2VP的作用是将步骤1中的视频帧序列表达成视觉拼音序列；

步骤5，以汉字词作为建模单元，将短视频对应的正确的视觉拼音序列输入到带有注意机制的序列到序列模型中，最终得到汉字序列c₁,c₂，…,c_l，该模型被命名为汉字预测模型VP2H；

步骤6，结合步骤4中的视觉拼音预测模型V2VP和步骤5中的汉字预测模型VP2H，得到一个端到端的中文句子级唇语识别模型CHSLR-VP，向中文句子级唇语识别模型CHSLR-VP中输入步骤1生成的嘴唇特征向量，首先得到与视频相对应的视觉拼音序列，再对视觉拼音进行翻译，最终得到短视频中说话者的讲话内容。

2.根据权利要求1所述的基于中文发音视觉特点的唇语识别方法，其特征在于：所述步骤1中使用的卷积神经网络的卷积内核均为1×3×3，采用非线性激活Selu函数，所有的最大池化stride为1×2×2。

3.根据权利要求1所述的基于中文发音视觉特点的唇语识别方法，其特征在于：所述步骤2中得到的汉语拼音序列是以分词为单位的序列。

4.根据权利要求1所述的基于中文发音视觉特点的唇语识别方法，其特征在于：所述步骤3中对拼音的视觉呈现进行归类，实则是对汉语音素的归类，汉语音素分为元音和辅音，辅音中包含了所有的声母，元音在嘴型上是不容易混淆的，所以只对辅音即声母进行归类，归类后得到的视觉拼音与对应拼音的映射关系如下：视觉拼音B，对应的拼音b,p,m；视觉拼音F，对应的拼音f；视觉拼音D，对应的拼音d,t,声母n,l；视觉拼音G，对应的拼音g,k,h；视觉拼音J，对应的拼音j,q,x；视觉拼音R，对应的拼音zh,ch,sh,r,zhi,chi,shi,ri；视觉拼音Z，对应的拼音z,c,s,zi,ci,si；视觉拼音I，对应的拼音i,y,yi；视觉拼音U，对应的拼音u,w,wu；视觉拼音V，对应的拼音ü,yu；视觉拼音a，对应的拼音a；视觉拼音o，对应的拼音o；视觉拼音e，对应的拼音e；视觉拼音E，对应的拼音er；视觉拼音n，对应的拼音韵母n；视觉拼音N，对应的拼音ng。

5.根据权利要求1所述的基于中文发音视觉特点的唇语识别方法，其特征在于：所述步骤4中V2VP模型以视觉拼音作为建模单元。