[发明专利]一种可实现语音重构的彩色复语谱图构建方法

权利要求书

1.一种可实现语音重构的彩色复语谱图构建方法，运用语音分帧技术，首先对语音信号进行加窗分帧，分为N点的帧信号，设共分为M帧，构成N×M分帧信号矩阵,应用FFT对N×M分帧信号矩阵的各列进行DFT计算，得出相应列的N点DFT，构成N×M时频分析矩阵                                                ,每个元素对应某时刻、某频带的频率特性的实部和虚部,其特征是：

1）、子矩阵形成模块：设矩阵所有元素实部或虚部最大绝对值为d，构造2个矩阵

                                               

                                                

和是分别对应于矩阵中实部和虚部的绝对值归一化子阵，用d作为归一化常数，是为了使和动态范围一致；

2）、符号编码矩阵形成模块：用符号函数分别提取  式中矩阵中实部和虚部的符号

                                            

                                          

函数的功能是，x小于0时输出-1，x,大于0时输出+1，x等于0时输出0，对、两式求加权和，即得到实部和虚部的符号组合编码

                                                 

上式的符号组合编码结果见表1，表1中9个计算结果标志了实部和虚部符号组合的9种状态，为了利用G通道将符号组合编码可视化，还要将表1结果零点平移并归一化，归一化由下式

                                                

由上式式可知，的取值在0～0.01之间，结果见表2，用800做归一化常数，是使G通道的最大值远小于R通道和B通道的值，使在语谱图可视化时G通道的绿色在视觉上不干扰R-B二原色图像的效果；

表1  实部和虚部符号组合编码

表2  实部和虚部符号组合的归一化编码

；

3）、RGB彩色模型驱动矩阵形成及可视化模块：构造一个3维矩阵，实部绝对值归一化子矩阵作为层数维的第1层，虚部绝对值归一化子矩阵作为层数维的第3层，符号组合编码矩阵作为层数维的第2层 ，将3维矩阵作为RGB彩色模型的驱动矩阵，形成彩色复语谱图，其中实部归一化绝对值子矩阵对应红色通道R，虚部归一化绝对值子矩阵对应蓝色通道B, 符号组合编码矩阵对应绿色通道G，由于G通道数值远小于R通道和B通道，所以彩色复语谱图在视觉上体现为R-B二原色彩色图；

4）、频域子阵提取模块：将图像处理后的二原色复语谱图所对应的3维矩阵中的第1层和第3层分别提取为和两个矩阵待用；

5）、符号解码模块：

将G通道符号组合编码取出形成归一化符号组合编码矩阵

（1）实部符号解码:首先由下式实现符号组合编码矩阵复原           

                                  

则实部符号矩阵

                                 

上式中是阶跃函数，当时，，当时，，当时，，式的结果是：当时对应实部符号为正，的结果为+1；当时对应实部符号为负，的结果为-1；当时对应实部符号为零，的结果为0；

（2）虚部符号解码:利用实部符号解码结果

                                             

分析上式的结果，当时对应虚部符号为正，此时，这样  式的计算结果分别为、和，均为+1，余类推；

6）、时频特性矩阵形成模块：实部子矩阵和虚部子矩阵分别由和生成，则频域特性矩阵

         ；                                           

应用FFT对进行列傅里叶逆变换，形成处理后的语音信号分帧矩阵，将各列首尾相接，构成一维语音序列，能够实现语音重构。