[发明专利]组合唇读与语音识别的多模式界面系统

说明书

技术领域

本发明总体涉及一种组合唇读与语音识别的多模式界面系统。更具体地，在优选实施例中，本发明涉及一种组合唇读与语音识别的多模式界面系统，其能够主要通过且优选地仅通过语音和嘴唇运动适当地发布导航操作指令，因此，优选地使得驾驶员在导航操作过程中向前看，并且适当地减少在行驶过程中与导航操作相关的车辆事故。

背景技术

目前，随着汽车技术的发展和日常生活中车辆使用的增加，对安全的关注与需求也已经在增加。并且，随着电子技术的发展，各种类型的装置常规地安装于车辆上，例如，但并不限于，音频设备、电话以及导航系统。

常规地，导航系统优选地通过经由触摸屏输入指令来进行操作。虽然使用触摸屏可以使输入错误最小化，但是使用者必须同时使用他/她的手和眼睛，这使得在行驶过程中操作导航系统变得困难，并且还分散使用者的注意力，因此增加了事故的风险。作为这种方式的替换，已经使用了使用语音识别的指令输入方法。然而，这种方法对音频噪声敏感，因此在噪声环境下可能发生识别故障。

基于嘴唇图像数据使用唇读的语音识别技术的研究仍处于算法研究的初始阶段。为了实现实时操作的唇读系统，必须稳定地检测使用者的嘴唇，适当地找到嘴唇的特征点，并且适当地迅速跟踪它们。因此，一系列步骤，包括但不限于面部检测、嘴唇检测、嘴唇跟踪、特征定义、数据归一化、语音片段检测、识别等，优选地一起工作。然而，目前，还不存在对所有步骤的一致性研究。

常规地，已经提出了基于主动外观模型(AAM)或主动形状模型(ASM)的嘴唇拟合算法。其性能对初始位置敏感，并且不能鲁棒地跟踪嘴唇在说话中的快速运动，从而使得在视频跟踪时难以获得稳定的特征值。虽然为了在视频获得嘴唇特征的变化作为特征值之后识别该特征值，需要用于一致性地检测语音片段并将其分割为帧的自动语音检测算法，但对该算法尚无研究。此外，虽然已经对使用隐马尔可夫模型(HMM)或神经网络的识别器算法开展了研究，但是这些算法需要一定量的用于学习的学习数据，并且进一步需要大量的数据进行学习，以实现精细的识别器。已知，学习现有的基于音频的说话者无关(speaker-independent)的语音识别器需要每个单词来自多于2000人的学习数据。因此，当旨在实现说话者无关的唇读识别器时，不容易确保HM  学习所需的足够的学习数据。而且，因为HMM学习涉及复杂的数学计算过程，所以需要许多系统资源和时间，因此使得难以在例如导航系统的低规格系统中执行在线学习。

目前，唇读系统的独立识别率为40％至60％，其远低于语音识别器的独立识别率。这是因为从嘴唇图像可识别的发音的基本单位(视位)的数目(13)比基于音频的语音识别中的发音的基本单位(音位)的数目(44)少70％，从而显著地降低了区别口型看似相似的单词的能力。因此，实际应用服务系统难以单独通过唇读实现指令识别系统。

在此背景技术部分中公开的以上信息仅用于增强对本发明的背景技术的理解，因此其可能包含不构成在本国对于本领域技术人员而言已公知的现有技术的信息。

发明内容

本发明在优选方面提供了一种组合唇读与语音识别的多模式界面系统，其实现了通过摄像机从面部图像有效地检测嘴唇的唇读系统，适当地跟踪嘴唇运动，并且基于嘴唇的特征值适当地识别语音指令，随后适当地组合唇读系统与基于音频的语音识别系统，使得使用摄像机图像的唇读能够在语音识别器由于噪声而无法工作的环境中适当地接收指令。

在一些优选实施例中，本发明优选地提供了一种组合唇读与语音识别的多模式界面系统，其基于适合的情景适当地配置作为交互系统的导航系统的应用服务屏幕，并且限制将要识别的指令，使得可根据各服务屏幕状态仅识别必要的指令，由此提高单个指令的识别率。

在另外的优选实施例中，本发明提供了一种组合唇读与语音识别的多模式界面系统，其适当地应用能够实时在线学习的识别器算法，以便当驾驶者长时间使用该系统时，使识别器适当地适应驾驶者的语音特征，由此逐渐提高识别率。