[发明专利]一种唇语学习云平台建立的方法和系统

摘要

本发明提供一种唇语学习云平台建立的方法和系统，包括：获取唇语，所述唇语包括嘴唇舌头动作以及对应的语句；对所述唇语进行提取，将所述嘴唇舌头动作划分为图像数据以及所述语句划分为语音数据，并将所述图像数据和语音数据传输至唇语学习云平台进行数据训练；将训练好的数据存储在唇语学习云平台设定的主节点上，形成训练数据库；搭建唇语学习云平台的分布式数据管理系统，并根据需要将训练数据库的数据组织到唇语学习云平台的其他节点上。本发明通过提升唇读模型提取句子的准确性，来提高唇语学习的效率，推进唇语学习的发展。 1

主权项

1.一种唇语学习云平台建立的方法，其特征在于，包括：

获取唇语，所述唇语包括嘴唇舌头动作以及对应的语句；

对所述唇语进行提取，将所述嘴唇舌头动作划分为图像数据以及所述语句划分为语音数据，并将所述图像数据和语音数据传输至唇语学习云平台进行数据训练；

将训练好的数据存储在唇语学习云平台设定的主节点上，形成训练数据库；

搭建唇语学习云平台的分布式数据管理系统，并根据需要将训练数据库的数据组织到唇语学习云平台的其他节点上。

2.根据权利要求1所述的唇语学习云平台建立的方法，其特征在于，所述方法还包括：

进行分布式系统硬件平台搭建，至少搭建两个节点，每个节点包括中央处理单元CPU和图形处理单元GPU；

底层进程通信使用gRPC支持库，使用Tensorflow提供的工具，定义集群的cluster_spec数，配置多机多卡模式。

3.根据权利要求2所述的唇语学习云平台建立的方法，其特征在于，对所述唇语进行提取，具体为：

通过Tensorflow对所述唇语进行提取。

4.根据权利要求3所述的唇语学习云平台建立的方法，其特征在于，将所述图像数据和语音数据传输至唇语学习云平台进行数据训练，形成训练数据库包括：

将所述嘴唇舌头动作划分为图像数据以及所述语句划分为语音数据；

将数据按照数据关联模型的划分算法，语音数据与图像数据打包成训练任务，分配到不同工作节点中；

每个工作节点由CPU指派到多个GPU中，GPU每次完成训练任务后，发送训练数据给CPU，CPU计算平均训练数据，更新参数；

当单节点训练任务完成后，用广播形式向唇语学习云平台内的其他节点发送数据，并等待其他节点的训练数据；

所有节点完成计算任务后，由设定的Master节点存储最终的训练数据，形成训练数据库。

5.根据权利要求4所述的唇语学习云平台建立的方法，其特征在于，所述唇语学习云平台的神经网络框架，选择卷积神经网络结构，选择128个卷积核，16层卷积层，其中，16层卷积层的层名称和描述定义为：init，网络初始化；conv1，实现卷积以及整流线性激活；pool1，最大池；norm1，局部响应归一化；conv2，实现卷积以及整流线性激活；pool2，最大池；som，自组织结构输入层；som2，自组织结构输出层；norm2，局部响应归一化；hand1，根据中间结果人为增加网络扰动；conv3，实现卷积以及整流线性激活；pool3，最大池；re，递归改变的残差计算；local3，基于修正线性激活的全连接层；local4，基于修正线性激活的全连接层；以及softmax_linear，进行线性变换以输出logits。

6.根据权利要求5所述的唇语学习云平台建立的方法，其特征在于，所述卷积神经网络结构中，包括：反馈自激机制允许跨层传递信息，具体为pool3层回向hand1层传递残差信息。

7.根据权利要求5所述的唇语学习云平台建立的方法，其特征在于，所述卷积神经网络结构中，包括：re处有递归结构，具体为采用Elman网络结构，把hand1，conv3，pool3，re层作为一个隐层进行递归反馈。

8.根据权利要求5所述的唇语学习云平台建立的方法，其特征在于，所述卷积神经网络结构中，包括：SOM网络结构，具体为som，som2层分别是自组织结构输入层、自组织结构输出层，som层神经元以矩阵方式排列在二维空间中，每个神经元都有一个权向量，som层在接受输入向量后，会激活som2层的神经元，som2神经元之间会按照自组织网络训练的方法进行调整。

9.一种唇语学习云平台系统，其特征在于，包括：

获取单元，用于获取唇语，所述唇语包括嘴唇舌头动作以及对应的语句；

提取单元，用于将所述嘴唇舌头动作划分为图像数据以及所述语句划分为语音数据，并将所述图像数据和语音数据传输至唇语学习云平台的工作节点进行数据训练；

设定主节点，用于将训练好的数据存储在唇语学习云平台设定的主节点上，形成训练数据库；

搭建单元，用于搭建唇语学习云平台的分布式数据管理系统，并根据需要将训练数据库的数据组织到唇语学习云平台的其他节点上。

10.根据权利要求9所述的唇语学习云平台系统，其特征在于，所述提取单元通过Tensorflow对所述唇语进行提取；将所述嘴唇舌头动作划分为图像数据以及所述语句划分为语音数据；将数据按照数据关联模型的划分算法，语音数据与图像数据打包成训练任务，分配到不同工作节点中；每个工作节点由CPU指派到多个GPU中，GPU每次完成训练任务后，发送训练数据给CPU，CPU计算平均训练数据，更新参数；当单节点训练任务完成后，用广播形式向唇语学习云平台内的其他节点发送数据，并等待其他节点的训练数据；

所述设定主节点在所有节点完成计算任务后，存储训练数据，形成训练数据库。