[发明专利]基于树莓派边缘计算的中文语音交互无感控制系统和方法

权利要求书

1.基于树莓派边缘计算的中文语音交互无感控制系统，其特征在于：包括边缘端、移动端、外接控制模块和边缘计算检测与调度模块；

边缘端采用X86服务器，包括用于语音识别和合成的边缘语音识别API和边缘语音合成API；

移动端设备采用树莓派结构，包括具有远场语音采集的功能麦克风，树莓派结构设置有移动端语音识别模块和移动端语音合成模块；移动端部署的语音识别和合成模型其是经过模型压缩过的模型，其模型体积与所需算力远小于边缘端的设备；

外接控制模块，采用I2C总线通讯方式用于与外接设备接口相连接；

边缘计算检测与调度模块，当检测到移动边缘服务器时发送链接请求，形成边-端架构，经过身份认证后将移动端语音识别与语音合成模型功能屏蔽，调用边缘端的识别与合成接口，当边缘服务器远离移动设备时或网络通信不畅其延迟达到阈值后启动移动端部署的语音交互模型，同时监听边缘服务器的接口信号，已期待下一个边缘服务的到来。

2.根据权利要求1所述的基于树莓派边缘计算的中文语音交互无感控制系统，其特征在于：所述边缘语音识别API采用深度残差门控卷积神经网络进行语音识别。

3.根据权利要求1所述的基于树莓派边缘计算的中文语音交互无感控制系统，其特征在于：所述边缘语音合成API采用aishell开源中文语音数据进行训练，实现中文语音合成的目的。

4.根据权利要求1所述的基于树莓派边缘计算的中文语音交互无感控制系统，其特征在于：所述移动端语音识别模块部署的传统语音识别模型，首先采用倒谱系数等提取声音波形的特征，而后与输入的汉语拼音进行隐马尔可夫模型匹配，将打分最高的单词进行匹配，并输出控制信号，同时控制语音合成模块返回提示声音。

5.根据权利要求1所述的基于树莓派边缘计算的中文语音交互无感控制系统，其特征在于：所述移动端设备语音合成模块采用传统语音合成模型：首先，应用音库进行HMM模型的训练，而后对要输出的文本进行分析，形成音素的HMM推测，对音频片段拼接后形成最终生成的语音。

6.根据权利要求1所述的基于树莓派边缘计算的中文语音交互无感控制系统，其特征在于：所述麦克风采用4-mic麦克风阵列。

7.一种基于权利要求1所述控制系统的针对恶劣环境下的基于树莓派边缘计算的中文语音交互无感控制方法，其特征在于：

网络状况良好时，边缘计算检测与调度模块上传下载速率大于可使用阈值后，启动边缘计算模式，移动端部署的语音识别与语音合成模块任务卸载到边缘端，边缘端服务器API启动，循环检测移动端发来的智能语音识别与语音合成的请求；当获得请求后，完成对语音的识别，输出语音识别字符，将识别结果返回给移动端，完成移动端的语音识别请求，而后边缘端根据识别结果执行不同的功能；

当网络状况恶劣时，边缘计算检测与调度模块启用移动端部署的本地语音识别与语音合成模块，完成语音识别与语音合成的功能由本地完成，当边缘端需要调用语音识别模块时，通过树莓派外接的麦克风采集声音波形，而后经过语音信号预处理形成频谱图；

当网络状况适中时，由边缘计算检测与调度模块判断网络的延迟情况，选择最优的调度策略，选择使用本地的语音识别功能或边缘端的语音合成功能。

8.根据权利要求7所述的针对恶劣环境下的基于树莓派边缘计算的中文语音交互无感控制方法，其特征在于：移动端部署的语音识别与语音合成模块任务卸载到边缘端，边缘端服务器获得请求后，由API网关解析数据，并将语音数据输入门控卷积神经网络模型，模型首先通过语音信号处理函数将波形转换成语音特征，即频谱图，而后模型使用卷积神经网络对频谱图进行卷积操作，卷积结果通过门控机制进行加权后输入CTC网络，CTC网络对其进行解码后经过SOFTMAX层完成对语音的识别，输出语音识别字符。