[发明专利]一种辅助聋人感知环境声音的装置及方法

权利要求书

1.一种辅助聋人感知环境声音的装置，其特征在于：包括声音采集模块和声音处理及显示模块；

声音采集模块安放在聋人所处环境中的若干固定节点，包括麦克风、信号调理电路、微处理器、复位电路、JTAG接口、时钟电路、电源电路和无线发射模块；麦克风接至信号调理电路输入端，信号调理电路输出端接入微处理器端口，复位电路、JTAG接口、时钟电路和电源电路均外接于微处理器端口，无线发射模块接至微处理器通信端口；

声音处理及显示模块由聋人随身携带，包括处理器、存储器、无线接收模块、JTAG接口、SD卡接口、时钟电路、复位电路、电源电路和LCD显示屏，处理器外接有存储器、JTAG接口和SD卡接口，电源电路接至处理器的供电端口，同时电源电路的输出管脚分别连接LCD显示屏、复位电路、存储器，无线接收模块接至处理器的通信端口。

2.采用权利要求1所述的辅助聋人感知环境声音的装置辅助聋人感知环境声音的方法，其特征在于：具体按如下步骤执行：

步骤1：针对聋人所处的特定环境，建立环境声音数据库，建立这些环境声音发生位置的图像文件；

步骤2：对环境声音数据库中的声音进行处理和训练，建立这些环境声音与发生位置的对应关系，具体如下：

步骤2.1：根据公式1计算每帧中每个采样点的能量E(m，k)，根据公式2计算信号总能量E，根据公式3计算每帧中每个采样点的概率密度P(m，k)；

E(m，k)＝[x(m)·ω(n-m)]²m＝1，...，N，k＝1，...，M                公式1

其中x(n)表示声音信号，m为声音信号采样序数，ω(n)为汉明窗函数，k表示帧序数，N为每帧数据采样点数，M采样帧数；

根据公式2计算声音信号总能量

E=Σk=1MΣm=1N/2E(m,k)]]>公式2

P(m，k)＝E(m，k)/E，m＝1，...，N/2，k＝1，...，M        公式3

步骤2.2：计算每帧声音信号的谱熵值H_m；

根据公式4计算每帧谱熵值H_m，

Hm=-Σm=1N/2P(m,k)·logP(m,k)]]>公式4

步骤2.3：设定门限值，逐帧进行比较；

当大于门限值H1时，认定为进入声音段，否则继续比较判断，声音结束点的判断与此同理；

步骤2.4：当判断出非噪音频段的起始位置时，从起始帧开始，计算当前帧的功率谱值，一共计算15帧；

步骤2.5：对计算出的15帧功率谱值进行二值化；

选取基准值Base，大于Base的设为1，小于Base设为0，构成声音识别的神经网络输入特征向量；

步骤2.6：采用神经网络算法进行声音类别识别训练；

步骤3：聋人所处特定环境中某种声音产生时，该位置的声音采集模块的麦克风采集到的声音信号，经信号调理电路放大滤波后，通过无线发射模块发送至声音处理及显示模块；

步骤4：当有环境声音发送至嵌入式声音处理及显示模块时，提取声音信号特征，送入训练好的神经网络中，判定类别神经元g，确定声音类别。

步骤5：根据声音所属类别，调用在聋人周围环境发生位置的图像文件；

步骤6：建立声音数据的图形表达：将聋人所在周围环境发生的某种声音以不断闪烁的圆环表示，圆环的中心指示声源在房间内的位置，根据计算声音数据前15帧的能量确定圆环的大小，声音数据持续时间对于圆环显示的时间。

3.根据权利要求2所述的辅助聋人感知环境声音的方法，其特征在于：步骤2.6所述采用神经网络算法进行声音类别识别训练，具体步骤如下：

步骤2.6.1：初始化；

根据公式5初始化前向连接权W_ij(0)，根据公式6初始化反馈连接权t_ji(0)，初始化阈值参数为ρ。

Wij(0)=1n+1]]>公式5

t_ji(0)＝1，i＝1，2，...，n，j＝1，2，...，m        公式6

步骤2.6.2：选择环境声音数据库中某一类别声音信号，提取声音信号的前15帧的能量，构15维输入特征向量送入ART神经网络输入层；

步骤2.6.3：根据公式7计算输入层各个神经元激活函数S_j，神经元g的激活值S_g最大，如公式8，初步确定为输入特征向量U_i所对应输出层的类别神经元；

Sj=Σi=1nWijUik,j=1,2,...,m]]>公式7

Sg=maxj=1m[Sj]]]>公式8

步骤2.6.4：根据公式9，计算输入特征向量U_i与输出层类别神经元g匹配度C_j，

Cj=Σi=1ntjiUiΣi=1nUi]]>公式9

其中，T_j＝[t_j1，t_j2，...，t_jn]^T，j＝1，2，...，m表示神经元j所对应的反馈连接权，存储的是以前的学习过程中记忆的输入特征向量。

当C_j≥ρ时，确定输出层神经元g是输入特征向量U_i的类别神经元，根据公式10和11调整神经元连接权值，存储记忆结果。

Wij(t+1)=tji(t)Ui0.5+Σi=1ntji(t)Ui,]]>i＝1，2，...，n         公式10

t_ji(t+1)＝t_ji(t)U_i         公式11

当C_j＜ρ时，则输出层神经元不是类别神经元，将神经元g的输出置0，并在余下的输出层神经元中继续寻找，即转至步骤2.6.3。

步骤2.6.5：将神经元g排除出下次识别的范围，返回步骤2.6.3；若所有已记忆的神经元都不满足时，则选一个未使用的输出层神经元作为输入特征向量U_i的分类结果，并令这个神经元为类别神经元g，根据公式10、11调整连接权。

步骤2.6.6：返回步骤2.6.2，对下一个输入特征向量进行识别。

步骤2.6.7：当建立的环境声音数据库中环境声音都在输出层确定了类别神经元g后，则训练结束。