[发明专利]基于图像识别和语音交互的学习方法及系统

权利要求书

1.一种基于图像识别和语音交互的学习方法，其特征在于，包括：用户通过移动终端拍照或在移动终端中选择一张图片上传至服务器端；服务器端的图像识别模块接收移动终端发来的图片，并将图片处理成至少一条文本推送至移动终端；用户选择其中一条文本或自己推荐一条文本，移动终端自动将该文本发送至服务器端的语音合成模块，所述语音合成模块接收移动终端发来的文本，并将文件处理合成为音频数据反馈至移动终端；移动终端接收音频数据供用户学习；用户根据音频数据进行跟读，并通过移动终端录音发送至服务器端的语音识别模块；所述语音识别模块接收移动终端发送来的录音，对录音进行分析并给出评价反馈至移动终端。

2.根据权利要求1所述的基于图像识别和语音交互的学习方法，其特征在于，所述图像识别模块采用TensorFlow程序对图片进行处理，TensorFlow利用训练好的模型进行预测得到推荐文本。

3.根据权利要求1所述的基于图像识别和语音交互的学习方法，其特征在于，所述语音合成模块根据预先设置的语法知识库和语法字典对文本进行分析；将分析后的文本训练，生成有韵律的神经网络；结合预先设置的语音语料库生成音频数据。

4.根据权利要求1所述的基于图像识别和语音交互的学习方法，其特征在于，所述语音识别模块分析待识别的语音，得到语音参数，将所述语音参数与语音识别库中的语音模板进行一一比较，并采用判决的方法找出最接近该语音参数的模板，得出识别结果并评分。

5.根据权利要求4所述的基于图像识别和语音交互的学习方法，其特征在于，所述语音参数比较的标准是计量语音特征参数矢量之间的失真测度。

6.一种基于图像识别和语音交互的学习系统，其特征在于，包括：移动终端和服务器端，所述移动终端与所述服务器端通过网络进行连接，

所述移动终端，包括：采集模块、语音处理模块、显示操作模块和存储模块，所述采集模块，用于对物体进行图像采集，并将采集到的图像发送至服务器端；所述语音处理模块，用于接收服务器端生成的音频数据和为用户录音并将录音发送至服务器端；所述显示模块，用于显示服务器端反馈的文字信息以及对系统进行相应操作的按键；所述存储模块，用于存储采集到的图像、服务器生成的音频数据以及用户的录音；

所述服务器端，包括：图像识别模块、语音合成模块、语音识别模块和存储模块，所述图像识别模块，用于接收移动终端发来的图片，并根据图片内容将图片信息转化成推荐文本反馈至移动终端；所述语音合成模块，用于接收移动终端发送来的推荐文本，并根据所述推荐文本的内容生成相应的音频数据，将所述音频数据反馈到所述移动终端，所述语音识别模块，用于接收移动终端发来的录音，并对所述录音进行识别以及对所述英文语音信息做出评价，将评价内容反馈到移动终端供用户查看；所述存储模块，用于存储用户信息、音频数据以及用户的录音。

7.根据权利要求6所述的基于图像识别和语音交互的学习系统，其特征在于，所述图像识别模块实用GPU服务器，利用大量的模型学习图片，再使用集束算法进行筛选图片反馈结果。

8.根据权利要求6所述的基于图像识别和语音交互的学习系统，其特征在于，所述语音合成模块采用TTS内核，所述TTS内核的发声引擎小，不需要大量的声音文件支持。

9.根据权利要求6所述的基于图像识别和语音交互的学习系统，其特征在于，所述语音识别模块的识别框架采用基于模式匹配的动态时间规整法和基于统计模型的隐马尔可夫模型法。