[发明专利]组合唇读与语音识别的多模式界面系统

权利要求书

1.一种组合唇读与语音识别的多模式界面系统，包括：

音频语音输入单元，其获得通过音频输入传感器输入的声音信号或者通过有线或无线连接从外部传送的输入音频信号；

语音识别单元，其从输入音频信号识别语音并且计算估计的识别准确度；

语音识别指令和估计概率输出单元，其输出与语音识别单元识别的语音相对应的指令和估计的识别概率值；

嘴唇视频图像输入单元，其获得通过图像输入传感器输入的输入图像或者通过有线或无线连接从外部传送的输入图像；

唇读单元，其通过处理输入图像识别说话者的唇读指令；

唇读识别指令输出单元，其输出由唇读单元识别的唇读指令；以及

语音识别与唇读识别结果组合单元，如果估计的概率高于阈值，则其输出语音识别指令，如果估计的概率低于阈值，则其输出唇读指令。

2.如权利要求1所述的系统，其中唇读单元包括：

嘴唇检测器，其使用来自嘴唇视频图像输入单元的输入图像检测嘴唇特征；

嘴唇模型生成器，其使用主动外观模型(AAM)嘴唇模型生成形状模型和外观模型；

嘴唇跟踪器，其使用由嘴唇模型生成器生成的形状模型和Lucas-Kanade(LK)算法，跟踪作为在嘴唇检测后AAM拟合的结果而获得的嘴唇特征点；

语音片段检测器，其将预定周期的帧数据输入到神经网络识别器中，以便基于作为对连续的输入图像进行嘴唇跟踪的结果而获得的一系列嘴唇模型参数，确定片段是语音片段还是静音片段；

系统模式确定器，其确定系统是处于嘴唇特征数据的标签已知的学习模式，还是处于嘴唇特征数据的标签未知的识别模式；

唇读识别学习单元，如果系统处于学习模式，则其使用特征数据和输入标签学习K最近邻域(K-NN)学习器；

指令识别单元，如果系统处于识别模式，则其通过习得的K-NN识别器找到与特征数据最相似的学习模式，并且输出作为特征值的结果指令；以及

嘴唇特征数据库，其存储离线或在线习得的每个指令的模式。

3.如权利要求2所述的系统，还包括：

唇读特征检测单元，其从来自语音片段检测器的输入图像检测唇读特征；

语音识别单词估计概率确定单元，如果由语音识别模块识别的指令的估计概率高于阈值，则确定使用由唇读特征检测单元检测的嘴唇图像作为嘴唇特征的学习标签执行学习；

嘴唇特征检测确定单元，其确定是否正确地检测到图像特征数据；以及

实时唇读学习单元，其通过使用从基于的语音识别模块提供的指令作为标签，对从唇读特征检测单元提供的嘴唇特征值执行k-NN学习，来更新嘴唇特征数据库，由此实现说话者自适应实时学习系统。

4.如权利要求1所述的系统，还包括交互服务单元，其根据服务情景以有限的方式识别必要的指令，由此实现能够实时学习的在线学习识别算法。

5.如权利要求4所述的系统，其中交互服务单元包括：

服务情景数据库，其预先定义可对各屏幕输入的一序列指令，并且在执行唇读或者语音识别时提供可对各服务屏幕或者在各阶段输入的该序列指令；

服务屏幕；

屏幕转换单元，其根据在服务情景数据库中定义的功能响应于输入指令执行屏幕转换，并且向服务屏幕提供当前服务状态的信息；

识别目标单词序列设置单元，其设置在基于服务情景数据库发生状态改变的情况下，各服务状态或者屏幕所要求的一序列单词；

如权利要求1所述的多模式界面系统，其通过参照由识别目标单词序列设置单元设置的识别目标单词序列组合唇读与语音识别，来执行抗噪语音识别；

服务执行单元，其响应于输入指令执行屏幕转换、语音引导、信息注册和其它注册的应用服务；以及

识别结果确定单元，其确定语音识别或者唇读识别是否失败，以决定是否对输入音频和视频信号执行服务，从而限制在实际服务中要识别的单词的数目，由此显著提高识别率。

6.一种组合唇读与语音识别的多模式界面系统，包括：

音频语音输入单元；

语音识别单元；

语音识别指令和估计概率输出单元；

嘴唇视频图像输入单元；

唇读单元；

唇读识别指令输出单元；以及

语音识别与唇读识别结果组合单元，其输出语音识别指令。