[发明专利]一种基于深度学习的汉语普通话唇语识别方法

摘要

本发明公开了一种基于深度学习的汉语普通话唇语识别方法，考虑到汉语语言结构的特点，采用了编码器‑解码器的算法架构，为了具有通用性和扩展性，使用卷积神经网络提取视频特征，编码器与解码器的子单元采用循环卷神经网络，汉语普通话标签采用词嵌入的编码方式，为了唇语算法识别的准确性，在编码器‑解码器输出部分添加注意力机制。本发明以汉语普通话句子级唇语识别为研究对象，通过分析影响唇语识别的制约因素，在建立的唇语识别模型中针对性的添加解决方法，获得了可以实际应用的唇语识别技术，为更高准确度和更具扩展性的唇语解决方案提供理论和技术基础。

主权项

1.一种基于深度学习的汉语普通话唇语识别方法，其特征在于，包括以下步骤：步骤1，基于原始数据建立唇读数据集；步骤2，采用多阶段卷积神经网络提取唇读数据集中静默视频中说话人唇部区域，并采用时空卷积神经网络处理唇部区域得到静默视频序列的口型动作特征；同时，对唇读数据集中的细标签序列进行词嵌入处理得到向量形式的细标签序列；步骤3，将静默视频序列口型动作特征和向量形式的细标签序列送入编码器‑解码器，在编码器‑解码器中，采用注意力机制使得解码器中的向量形式的细标签与编码器中的口型动作特征相对应，得到向量形式的细标签序列和静默视频序列口型动作特征对齐后的向量表示；步骤4，采用多层感知器将步骤3得到的对齐后的向量表示转变成概率分布形式的结果，完成唇语识别网络的搭建；步骤5，采用唇读数据集中的数据对唇语识别网络进行训练，得到唇语识别模型，唇语识别模型的输出为概率最大的细标签序列；步骤6，对唇语识别模型进行测试，采用定向搜索技术改善步骤5得到的细标签序列，得到最佳的唇语识别结果。