[发明专利]基于动态时间规划根据语音信息合成舌超声视频的方法

说明书

本发明涉及语音与图像合成技术领域，为获得连贯自然且较为清晰的舌超声运动图像。为此，本发明采取的技术方案是，基于动态时间规划根据语音信息合成舌超声视频的方法，首先基于语音识别技术识别输入的语音文字，之后根据共振峰能量根据识别结果按独立发音切割语音段，通过动态时间规划的方法，将输入语音中每个字的舌运动图像自语音‑超声图像库中选择出来，在单词拼接过程中使用全连接神经网络自编码器提取特征值进行插值，最终合成出连贯的舌超声图像。本发明主要应用于超声视频图像处理场合。

技术领域

本发明涉及语音与图像合成技术领域，具体是涉及一种基于动态时间规划的舌超声视频合成方法，用于将中文语音分析合成出连续的舌超声运动视频。

背景技术

超声成像是利用超声声束扫描人体，通过对反射信号的接收、处理，以获得体内器官的图象。由于超声使用成本低，对人体伤害小，成为了语音学习领域一个重要的辅助工具。舌作为发声的重要器官，每个人都有各自的发声特点和口音差别，这些都与舌的运动相关联。

目前的舌超声成像技术都需要超声仪的辅助，需要在专业人士的指导下使用，但是超声仪对于家庭日常生活娱乐使用成本仍然过高，家庭购买也不现实，通过本发明可以简单借助手机等app方式录取说话人的语音就可以生成出连贯自然的舌超声图像，大大降低了实验和学习成本，本发明可应用于舌运动障碍人员的康复训练，幼儿发声学习等方面，降低了学习了解语音和舌运动关系的门槛，有助于培养幼龄儿童对医学和人体身体构造的兴趣等。

发明内容

为克服现有技术的不足，本发明旨在提出一种基于动态时间规划的舌超声图像合成方法，最终获得连贯自然且较为清晰的舌超声运动图像。为此，本发明采取的技术方案是，基于动态时间规划根据语音信息合成舌超声视频的方法，首先基于语音识别技术识别输入的语音文字，之后根据共振峰能量根据识别结果按独立发音切割语音段，通过动态时间规划的方法，将输入语音中每个字的舌运动图像自语音-超声图像库中选择出来，在单词拼接过程中使用全连接神经网络自编码器提取特征值进行插值，最终合成出连贯的舌超声图像。

对于所录取的所有超声图像，裁剪出舌体的位置后输入到自编码器模型进行训练，最终使自编码器模型实现对于图片进行特征值提取和还原；

对于输入的语音，通过语音识别转化成汉字，再根据识别的汉字将输入语音根据共振峰能量变化进行切割，从而使每个字与语音片段相匹配，对于每个语音片段，使用动态时间规划的方法与语音-超声图像库中所录取的语音片段进行比对和调整，生成出单个汉字发音的连贯的舌运动超声图像；

最后将所有的所述单个汉字发音的连贯的舌运动超声图像进行拼接处理，在每个汉字发音之间使用之前训练好的自编码器模型进行编码、插值、解码处理，使得在每个发音之间舌运动图像流畅自然；最后将所有生成的图像按照时间顺序，合成为视频图像，并附上输入语音作为背景音。

具体训练过程如下：

对所采集的所有超声图片进行切割处理，选择切除图像中大部分边界，只保留图像中间的舌头运动区域进行训练；

自编码器可选用卷积+全连接层神经网络或全连接层神经网络，把切割好的图像输入到自编码器中，在每一个全连接层处理之后再使用线性整流函数ReLU处理：

ReLU计算方式如下：

f(x)＝max(0,x)

x为每层神经网络的输出结果，进行ReLU函数处理后作为下一层网络的输入。

最后将图像经过编码处理后转化成特征值向量，解码与编码模型每层参数相反，最后将特征值向量再次还原成图像，实现图片特征值提取和还原。