[发明专利]一种基于流式语音识别的嘴型检测方法和装置以及设备

权利要求书

1.一种基于流式语音识别的嘴型检测方法，其特征在于，包括：

提供一种声学模型，该声学模型识别语音信号输出文本序列；基于该文本序列生成音素序列；基于该音素序列生成视素序列；该声学模型的构建方法包括如下步骤：

提取语音信号的FBANK特征值，该FBANK特征值输入高斯混合模型进行聚类输出若干语音聚类帧；每个该语音聚类帧的帧前及帧后各保留5-8帧的语音信号形成拼接特征；该拼接特征输入TDNN模型构建的声学模型进行训练。

2.如权利要求1所述的基于流式语音识别的嘴型检测方法，其特征在于，所述基于该文本序列生成音素序列，包括：

所述声学模型输出似然矩阵；

提供一语言模型，输入该似然矩阵进行解码输出文本序列及音素序列；该语言模型的加权有限状态转移器基于语音信号的文本信息进行构建，且该语言模型构建完成后进行剪枝。

3.如权利要求1所述的基于流式语音识别的嘴型检测方法，其特征在于，所述基于该音素序列生成视素序列，包括：

将音素序列内的每个音素依据发音将音素与视素进行映射，每个视素对应一个嘴型；若干视素依据音素序列的顺序排序生成视素序列。

4.如权利要求1或3所述的基于流式语音识别的嘴型检测方法，其特征在于，在所述生成视素序列之后，进一步包括，将该视素序列输入虚拟人物模型，依据视素序列中对应的嘴型变更虚拟人物的嘴型。

5.一种基于流式语音识别的嘴型检测装置，其特征在于，包括：

采集模块、流式语音识别模块、文本转嘴型模块；

所述采集模块，用于采集语音信号；

所述流式语音识别模块，利用声学模型识别语音信号输出文本序列；还用于训练声学模型，提取语音信号的FBANK特征值，该FBANK特征值输入高斯混合模型进行聚类输出若干语音聚类帧；每个该语音聚类帧的帧前及帧后各保留5-8帧的语音信号形成拼接特征；该拼接特征输入TDNN模型构建的声学模型进行训练；

所述文本转嘴型模块，用于根据文本序列生成音素序列；基于该音素序列生成视素序列。

6.如权利要求5所述的基于流式语音识别的嘴型检测装置，其特征在于，所述文本转嘴型模块，具体用于：

所述声学模型输出似然矩阵；提供一语言模型，输入该似然矩阵进行解码输出文本序列及音素序列；该语言模型的加权有限状态转移器基于语音信号的文本信息进行构建，且该语言模型构建完成后进行剪枝。

7.如权利要求5所述的基于流式语音识别的嘴型检测装置，其特征在于，所述文本转嘴型模块，具体用于：

将音素序列内的每个音素依据发音将音素与视素进行映射，每个视素对应一个嘴型；若干视素依据音素序列的顺序排序生成视素序列。

8.如权利要求5或7所述的基于流式语音识别的嘴型检测装置，其特征在于，所述基于流式语音识别的嘴型检测装置，还包括：

可视化模块；

所述可视化模块，用于将该视素序列输入虚拟人物模型，依据视素序列中对应的嘴型变更虚拟人物的嘴型。

9.一种基于流式语音识别的嘴型检测设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至4中任一项所述的基于流式语音识别的嘴型检测方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的基于流式语音识别的嘴型检测方法。