[发明专利]一种基于唇读技术的唇语输入方法

权利要求书

1.一种基于唇读技术的唇语输入方法(主要针对常用汉字及阿拉伯数字)，它包括视频采集单元、视频解码单元、图像预处理单元，特征提取单元，口型模板库，唇语识别单元以及文字输出单元：

(A)视频采集单元通过摄像头获取只包含用户唇部口型变化的唇动视频序列并输入视频解码单元；

(B)视频解码单元将输入的唇动视频利用关键帧采集技术获取视频流中具有代表性的关键帧，并将提取的关键帧序列(归一化的唇部色彩静态图片)送入图像预处理单元；

(C)图像预处理单元对上一单元获得的关键帧图像，利用OpenCV库函数进行灰度化和中值滤波处理，而后利用大津法获得的动态阈值对图片进行二值化处理，最后对图片进行扫描去噪获得规格化的唇部二值化图片。

(D)特征提取单元针对经过图像处理后的规格化二值化图片，利用模板法进行唇部特征提取，获得表示唇部特征的特征向量；

(E)口型模板库是预先建立的用于存储标准口型特征向量的模块，储存了先期试验中采集的标准口型模板，包括所有汉语拼音字母发音时的唇动图像(单张或多张)样本及针对唇动图像利用模板法提取的特征向量；

(F)唇语识别单元对处理后的规格化二值化图像进行识别，从特征提取单元中获得序列中每张图片的特征向量，从模板库索引得到匹配的汉语拼音字母序列输入文字输出单元。

(G)文字输出单元对汉语拼音字母序列进行智能识别，在用户协助选取所需内容之后，输出最终结果。

2.根据权利要求1所述的一种基于唇读技术的唇语输入方法，其特征在于：本发明可用于PC平台以及Andriod平台的智能手机等移动设备。

3.根据权利要求1所述的一种基于唇读技术的唇语输入方法，其特征在于：视频采集单元可以利用摄像头获得只包含唇部口型变化的唇动视频序列。

4.根据权利要求1所述的一种基于唇读技术的唇语输入方法，其特征在于：视频解码单元可动态的从视频流中提取具有代表性的关键帧。

5.根据权利要求1所述的一种基于唇读技术的唇语输入方法，其特征在于：图像预处理单元利用OpenCV库函数对图片进行灰度化和中值滤波处理；利用大津法，动态的获取图像像素点的二值化阈值用于对平滑处理后的灰度图片进行二值化处理；最后进一步扫描图片去噪提高后期匹配的精确性。

6.根据权利要求1所述的一种基于唇读技术的唇语输入方法，其特征在于：特征提取单元利用双唇模板法进行唇形建模，据此获得特征参数。

7.根据权利要求1所述的一种基于唇读技术的唇语输入方法，其特征在于：口型模板库利用前期采集的唇动视频材料建立，针对特定人，采用从视频中截取关键帧，且选择最为合适的多组图片作为语料库的初步模板图片。完善的模板库应当包含所有汉语拼音字母发音的模板图片及对其进行处理提参后获取的特征向量。

8.根据权利要求1所述的一种基于唇读技术的唇语输入方法，其特征在于：唇语识别单元将输入的特征向量与模板库中已有的特征向量进行匹配得到汉语拼音字母序列。

9.根据权利要求1所述的一种基于唇读技术的唇语输入方法，其特征在于：文字输出单元将唇语识别单元得到的汉语拼音字母序列进行智能化识别得到用户所需输出结果。