[发明专利]一种唇语学习云平台建立的方法和系统

说明书

本发明提供一种唇语学习云平台建立的方法和系统，包括：获取唇语，所述唇语包括嘴唇舌头动作以及对应的语句；对所述唇语进行提取，将所述嘴唇舌头动作划分为图像数据以及所述语句划分为语音数据，并将所述图像数据和语音数据传输至唇语学习云平台进行数据训练；将训练好的数据存储在唇语学习云平台设定的主节点上，形成训练数据库；搭建唇语学习云平台的分布式数据管理系统，并根据需要将训练数据库的数据组织到唇语学习云平台的其他节点上。本发明通过提升唇读模型提取句子的准确性，来提高唇语学习的效率，推进唇语学习的发展。

技术领域

本发明实施方式涉及通讯技术领域，尤其涉及一种唇语学习云平台建立的方法和系统。

背景技术

唇读在人类的交流和语音理解中发挥了很关键的作用，当一个音素在一个人的说话视频中的配音是某个人说的另一个不同的音素时，听话人会感知到第三个不同的音素。

在实施本发明的过程中，发明人发现现有技术至少存在如下问题：

唇读对人类来说是一项众所周知的艰难任务。除了嘴唇和有时候的舌头和牙齿，大多数唇读信号都是隐晦的，难以在没有语境的情况下分辨。

因此，实现唇读的自动化是一个很重要的目标。机器读唇器有很大的实用潜力，比如可以应用于改进助听器、公共空间的静音听写、秘密对话、嘈杂环境中的语音识别、生物特征识别和默片电影处理。机器唇读是很困难的，因为需要从视频中提取时空特征，比如位置和运动等特征。虽然深度学习方法试图通过端到端的方式提取这些特征。但是，所有的已有工作都只是执行单个词的分类，而非句子层面的序列预测。

目前的唇语学习大多数都是通过线下人工培训，以及网上的学习软件。但是，人类语言受到了地域差异、国籍差异等影响，各个地方都有方言的存在。同时，线下的人工培训基于官方的标准语言，在各个地域的适用性远没有预想的那么高，因此，在学习时无法达到预期的效果。而网上的唇语学习软件，也都只考虑官方的标准语言，而为考虑到地方的方言。而且，对于所提取的内容，都是基于一句话中的单词而言，并没有从整个句子层面来进行预测，因此，有着很大的弊端，提取的准确率也达不到预期的要求。

应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

针对上述问题，本发明实施方式的目的在于提供一种唇语学习云平台建立的方法和系统，通过提升唇读模型提取句子的准确性，来提高唇语学习的效率，推进唇语学习的发展。

为实现上述目的，本发明实施方式提供一种唇语学习云平台建立的方法，包括：获取唇语，所述唇语包括嘴唇舌头动作以及对应的语句；对所述唇语进行提取，将所述嘴唇舌头动作划分为图像数据以及所述语句划分为语音数据，并将所述图像数据和语音数据传输至唇语学习云平台进行数据训练；将训练好的数据存储在唇语学习云平台设定的主节点上，形成训练数据库；搭建唇语学习云平台的分布式数据管理系统，并根据需要将训练数据库的数据组织到唇语学习云平台的其他节点上。

进一步地，所述方法还包括：进行分布式系统硬件平台搭建，至少搭建两个节点，每个节点包括中央处理单元CPU和图形处理单元GPU；底层进程通信使用gRPC支持库，使用Tensorflow提供的工具，定义集群的cluster_spec数，配置多机多卡模式。

进一步地，对所述唇语进行提取，具体为：通过Tensorflow对所述唇语进行提取。