[发明专利]用于SSI的超声图像分析方法

权利要求书

1.用于SSI的超声图像分析方法，其特征在于：具体方案实施步骤如下：

步骤一：数据采集：数据采集系统分为超声采集系统、视频采集系统和音频采集系统；

步骤二：数据同步处理：将两个系统采集到的数据进行同步处理，即超声与音频的同步，视频与音频的同步；

在采集超声图像时，会记录超声图像的信息，即每张超声图像的系统时间、序列号以及音频流的每帧的时间，利用超声图像的序列号信息进行判断是否有超声图像丢失的情况；系统采集音频数据时，将音频按照每帧来保存到硬盘；当每帧的时长到了的时候，系统访问图像采集的线程，获取并记录当前图像的序列号，利用该信息验证每一组数据流之间的同步性；

在视频采集系统采集说话者的音频时，该系统每隔 20ms 记录当前音频的系统时间，并存在文本文档中；在视频采集系统采集的说话者的嘴唇图像流时，该系统记录每张图像的系统时间，并存到文本文档中，通过音频的系统时间找对应的系统时间的嘴唇图像，从而达到视频采集系统中视频与音频的同步；

步骤三：超声图像特征提取：分别使用主成分分析法PCA、核主成分分析法KPCA 和叠加降噪自动编码器SDA提取超声图像特征；

主成分分析用于超声图像的操作步骤：

1获取M张超声图像，在此过程中，超声图像大小必须相同；

2将每张超声图像 通过按行排列像素点表示成向量；

3通过计算舌头超声图像向量平均值，计算公式如(1)所示：

4将每个超声图像向量减去平均值，计算公式如(2)所示：

5计算协方差矩阵C,计算公式如(3)所示：

其中

6计算协方差矩阵C特征值和特征向量，这里特征值的大小表示了超声图像投影到新的空间的方差大小，选取数据投影到新的空间得到方差大的方向作为投影方向；

7选取需要降低到的数据维数，保留个最大的特征值对应的特征向量，这个特征向量构成的矩阵我们称为特征舌；

8将超声图像序列投影到特征舌对应的特征空间中，并计算一阶差分和二阶差分组成新的特征作为最终的训练特征；

核主成分分析用于超声图像的操作步骤：

1获取超声图像，超声图像的大小必须相同；

2将每张超声图像重新表示成向量；

3通过计算舌头超声图像的平均值，计算公式如(4)所示：

4对每张超声图像转换成的向量减去舌头超声图像的平均值，计算公式如(5)所示：

5计算特征空间中的协方差矩阵C ,计算公式如(6)所示：

6计算特征空间的特征值和特征向量；

7计算测试样本在特征向量空间的投影，计算公式如(7)所示：

8将超声图像序列投影到核函数对应的特征空间中，并计算一阶差分和二阶差分组成新的特征作为最终的训练特征；

使用叠加降噪自动编码器用于超声图像的操作步骤：

1获取超声图像，超声图像的大小必须相同；

2将每张超声图像重新表示成向量；

3将向量组成矩阵，其中；

4将矩阵除以255，因为叠加降噪自动编码器的输入需要满足在0～1之间；

5设计叠加自动编码器的结构；

6将训练好的神经网络序列化，保存叠加降噪自动编码器的权值矩阵，偏置矩阵信息；

7使用保存好的神经网络将数据降维，获取隐藏层的计算结果，计算一阶差分和二阶差分组成新的特征作为最终的训练特征；

步骤四：使用隐马尔科夫模型 进行连续语音识别：

1设计语料库：该语料库有 1000 句中文句子组成，主要是根据音素平衡来设计的，使得在训练每个音素的 HMM 模型时更为有效；

2设计字典：将所有的中文语料转化为拼音，字典是以词为单位进行设计的，以词为单位可以保证后期的识别率较高；

3使用宾夕法尼亚标注软件进行语音标注：将录制好的数据进行同步处理后，取出数据中的音频部分以及音频对应的文本文件，使用宾夕法尼亚标注软件进行音频标注，标注后生成对应的 TextGrid 文件；

4特征转化为 mfcc 参数：从舌头的超声提取出的特征后，计算该特征的一阶差分和二阶差分，将其拼接后作为新特征进行训练 HMM 模型，将该特征转化为 mfcc 参数；

5在设计好字典，标注好音频数据，准备好mfcc数据后，最后进行 HMM 模型训练。