[发明专利]基于唇语识别的汇编语言编辑器及识别方法

权利要求书

1.基于唇语识别的汇编语言编辑器，其特征在于，包括：

唇语网络模块：用于研究唇语识别网络模型的构造流程，采用时空卷积神经网络、门控循环单元以及联结主义文本分类的混合模型，在使用网络之前需要对数据进行预处理，提取唇部矩形区域并且进行归一化操作；时空卷积神经网络用于提取视频帧序列的特征表示；在此基础上，使用门控循环单元GRU理解提取的特征，最后使用联结主义文本分类损失函数来优化；

唇动判断模块：在此过程中，从数据扩充后的视频帧序列中提取每一条有效唇语句子的起始位置和结束位置；首先是数据扩充过程，由于网络模型训练的数据只是一条句子，未考虑到停顿和多条语句的情况，所以先对其进行扩充操作；再对于扩充的数据进行唇动帧判断，最后基于唇动帧的位置逐条语句进行唇动序列的提取；

唇读系统模块：在对唇语网络和唇动判断进行研究之后，唇语网络得到的模型和唇动判断子模块连接起来，构成唇读系统；在唇读系统中，唇动判断模块的输出的帧序列在网络模型中预测的结果就是整个唇读系统的输出，扩充后的数据集就是唇读系统的输入；每次唇读系统的输出作为编辑器的一行指令语句。

2.一种唇语识别方法，其特征在于，包括如下步骤：

步骤1：明确会使用的变量名，作为关键字存储在指令集中；

步骤2：划分每条指令的动作，寄存器，进行每一条指令数据的采集；采集的数据都是一条语句，在实时测试的时候，需要整段话的输入，所以对数据集需要做一个扩充；

步骤3：使用设计好的网络对数据集进行端对端的训练，得出模型；

步骤4：对一段视频帧进行唇动判断，将每段话中语句划分出来，过滤指令语句前后的空白帧，提取出每条指令帧序列；

步骤5：将每条指令帧序列作为网络的输入，预测出对应的指令，输出到编辑器上，并且模型的预测和指令帧序列的提取可以异步实现，达到实时的效果。