[发明专利]基于神经网络的汉语声韵母可视化方法

摘要

基于神经网络的汉语声韵母可视化方法，步骤为：获取语音信号；对语音信号进行预处理；提取语音信号特征参数，进行PCA降维；设计并训练小波神经网络；小波神经网络输出的64个二进制编码依次对应显示屏上8×8个方格，其中前47个二进制编码及前47个二进制编码对应的方格依次对应按照发音特点排序的47个声韵母，当某个声韵母的语音信号综合特征向量输入小波神经网络时，小波神经网络的输出即为该声韵母的位置信息；将47个声韵母划分为12组，并分别将12组声韵母对应的方格的RGB赋不同的值，来获取颜色信息；合成上述位置信息和颜色信息，实现声韵母的可视化。该方法便于聋哑人记忆，具有良好的鲁棒性和易懂性，聋哑人可以准确辨识出可视化图像所对应的发音。

主权项

1.一种基于神经网络的汉语声韵母可视化方法，包括步骤1、语音信号获取：利用麦克风输入语音数据，并由处理单元采样量化后获得相应的语音信号；步骤2、语音信号预处理：对获取的语音信号进行预加重、分帧加窗和端点检测；其特征在于：还包括如下步骤：步骤3、语音信号特征参数提取；步骤3.1、采用基于Hibert‑Huang变换的方法来估算预处理后的语音信号共振峰频率特征，得到每帧信号的共振峰特征值F1，F2，F3，F4；步骤3.2、计算基于小波包变换的语音信号鲁棒特征参数WPTC：WPTC1～WPTC20；步骤3.3、计算基于MUSIC和感知特性的鲁棒特征参数PMUSIC‑MFCC：PMUSIC‑MFCC1～PMUSIC‑MFCC12；步骤3.4、计算Mel频率倒谱系数MFCC：MFCC1～MFCC12；步骤4、PCA降维：利用主成分分析法PCA对上述语音信号特征参数进行降维处理，获得语音信号综合特征向量；步骤5、神经网络设计：采用三层小波神经网络，其中输入层有12个神经元，隐含层有8个神经元，输出层有6个神经元，利用M个语音信号综合特征向量训练该小波神经网络，期望误差为P，最大迭代次数为Q，若该小波神经网络输出误差小于期望误差或者训练次数达到最大迭代次数，则停止训练小波神经网络，完成神经网络设计；步骤6、位置信息映射：小波神经网络的输出层有6个神经元，均采用二进制编码，共有64个不同的二进制编码，显示屏上设置64个方格，64个方格排成8行8列，64个二进制编码按照由左到右、由上到下的顺序依次对应8×8个方格，其中前47个二进制编码及前47个二进制编码对应的方格依次对应按照发音特点排序的声韵母a o e i u ü y w an en in un ün j q x b p m f d t n l ang eng ing ong zh ch sh r g k h z c s ai ei ui ao ou iu ie üe er，当某一个声韵母的语音信号综合特征向量输入小波神经网络时，小波神经网络的输出为该声韵母对应的方格的二进制编码，该二进制编码即为该声韵母的位置信息，该声韵母对应的方格被选中；步骤7、颜色信息获取：根据发音特点或发音部位将47个声韵母划分为12组，并分别将12组声韵母对应的方格的RGB赋不同的值，使12组声韵母对应的方格显示不同的颜色；步骤8、信息合成：合成位置信息和颜色信息，当输入某一个声韵母的语音信号综合特征向量时，该声韵母对应的方格显示某种颜色，其余方格显示黑色，实现声韵母的可视化。