[发明专利]一种从语音到图像的生成方法及系统

说明书

本发明公开一种从语音到图像的生成方法及系统，涉及人工智能技术领域，方法包括：获取训练数据集；训练数据集包括中文语料库和Oxford‑102flowers数据集；对中文语料库进行预处理，得到语谱图；利用语谱图对端到端卷积神经网络模型进行训练和优化；利用Oxford‑102flowers数据集对深度卷积生成对抗网络模型进行训练和优化；获取教师教学时的语音信号；对语音信号进行预处理，得到教学语谱图；将教学语谱图输入优化后的端到端卷积神经网络模型中，得到教学文本；将教学文本输入优化后的深度卷积生成对抗网络模型中，生成教学图像。本发明能够实现将课堂上教师教学时的语音信号转换为图像。

技术领域

本发明涉及人工智能技术领域，特别是涉及一种从语音到图像的生成方法及系统。

背景技术

随着大数据、人工智能的不断发展，传统领域的大数据化、智能化将是一个必然的发展趋势，而在众多的传统领域中，教育行业的特征与人工智能的契合度非常高。人工智能与教育的结合点就是和教师成为合作伙伴。人工智能已经普遍应用于教育，不同的工具可以运用于教育的不同领域。随着人工智能教育解决方案的不断成熟，人们希望人工智能可以帮助填补学习和教学方面的需求空白，让学校和教师比以往任何时候都更有效率。研究人工智能在智慧教育中的应用，通过将课程、学生、教师和环境的有效结合，构建符合人工智能教育需求的生态模式，可以实现高效的智能课堂。人工智能可以提供高效率、个性化和简约化的管理任务，使教师有时间去从事进一步研究。通过这种最佳合作属性，人工智能在教育中的愿景是和教师共同努力，为学生带来最佳结果。由于今天的学生需要在未来工作中运用人工智能，所以让学生接触并学习人工智能也是很重要的。

在小学阶段，学生的自律能力往往比较差，研发课程时就应充分考虑如何激发学生的学习兴趣。例如可以在授课时通过有趣的故事进行情景引入，在知识点讲授环节则要注意内容不宜过多，每节课不应超过三个知识点；连续进行知识讲授的时间不宜超过15分钟，否则孩子们很难有足够的耐心听下去，同时设计紧扣知识点并且参与感与趣味性都比较强的课堂互动环节让孩子们更容易地接受和掌握知识内容。根据小学生认知发展规律，直观图像比抽象想象更适合小学生的课堂学习，但是，现在的小学科学课程仍处于传统的课堂教学中，并且在偏远的农村地区，他们面临着实验设备缺乏和教师科学素养不高的问题。因此，为了更好的实现认知教育，如果可以将课堂上教师教学时的语音描述转换为逼真的图像，即从课堂语音转换为符合语义的图片，从而将非书面语言以图像的形式表现出来，必然能够激发学生的学习兴趣，实现高效的、生动的智能课堂。基于此，本领域亟需一种从语音到图像的生成方法及系统，以解决无法将课堂上教师教学时的语音信号转换为图像的问题。

发明内容

本发明的目的是提供一种从语音到图像的生成方法及系统，能够实现将课堂上教师教学时的语音信号转换为图像。

为实现上述目的，本发明提供了如下方案：

一种从语音到图像的生成方法，所述方法包括：

获取训练数据集；所述训练数据集包括中文语料库和Oxford-102flowers数据集；

对所述中文语料库进行预处理，得到语谱图；

利用所述语谱图对端到端卷积神经网络模型进行训练和优化，得到优化后的端到端卷积神经网络模型；

利用所述Oxford-102flowers数据集对深度卷积生成对抗网络模型进行训练和优化，得到优化后的深度卷积生成对抗网络模型；

获取教师教学时的语音信号；

对所述语音信号进行所述预处理，得到教学语谱图；

将所述教学语谱图输入所述优化后的端到端卷积神经网络模型中，得到教学文本；

将所述教学文本输入所述优化后的深度卷积生成对抗网络模型中，生成教学图像。