[发明专利]用于改善话音识别的RGB/深度相机

说明书

技术领域

本发明涉及用于通过处理视觉话音线索来促进话音识别的系统和方法。

背景技术

在过去，诸如计算机游戏和多媒体应用等计算应用使用控制器、遥控器、键盘、鼠标等来允许用户操纵游戏人物或应用的其他方面。近来，计算机游戏和多媒体应用已开始使用相机和软件姿势识别引擎来提供自然用户界面(“NUI”)。使用NUI，检测、解释用户姿势并将其用于控制游戏人物或应用的其他方面。

除了姿势以外，NUI系统的另一方面是接收和解释音频问题和命令的能力。单单依靠音频的语音识别系统是已知的，并且对大多数音频的工作干得尚可接收。然而，诸如例如“p”和“t”、“s”和“sh”和“f”等声音之类的某些音素发音类似并且是难以区分的。在存在有限带宽或显著背景噪声的情况下，这种实施变得甚至更加困难。附加的方法可以分层地处于用于音素识别的音频技术的顶部，如例如单词识别、语法和句法分析、以及上下文推理。然而，这些方法增加话音识别的复杂性和延迟。

发明内容

在此公开了用于通过处理视觉话音线索来促进话音识别的系统和方法。这些话音线索可以包括嘴唇、舌头和/或牙齿在话音期间的位置。在一个实施例中，在由图像捕获设备捕获数据帧以后，该系统标识出讲话者和该讲话者的位置。然后，该系统聚焦于讲话者以获得该讲话者的嘴的清晰图像。该系统包括视觉话音线索引擎，该视觉话音线索引擎用于基于所捕获的该讲话者的嘴唇、舌头和/或牙齿的位置来识别和区分声音。视觉话音线索数据可以与音频数据同步以保证视觉话音线索引擎处理与正确的音频数据相对应的图像数据。

本技术可以简化话音识别过程。本系统可以与现有深度和RGB相机一起运行，并且不增加现有技术的开销。另一方面，本系统可以允许话音识别，而不必使用单词识别、语法和句法分析、上下文推理和/或各种其他增加话音识别的复杂度和延迟的过程。因此，本技术可以简化和改善话音识别的处理时间。

在一个实施例中，本技术涉及一种用于从图像数据中识别音素的方法。该方法包括步骤：a)从场景中接收包括图像数据和音频数据的信息；b)标识出该场景中的讲话者；c)对讲话者在该场景内的位置进行定位；d)获得关于讲话者的在场景内相对于该场景的其他区域而言更多的图像细节；e)捕获与讲话者的嘴唇、舌头和/或牙齿至少之一的位置相关的图像数据；以及f)将在所述步骤e)中捕获的图像数据与所存储的规则相比较以标识出音素。

在另一实施例中，本技术涉及一种用于从图像数据中识别音素的方法，包括步骤：a)从场景中接收包括图像数据和音频数据的信息；b)标识出该场景中的讲话者；c)对讲话者在该场景内的位置进行定位；d)测量多个参数以确定是否满足用于获得与讲话者的嘴唇、舌头和/或牙齿至少之一的位置相关的图像数据的清晰度阈值；e)如果在所述步骤d)中确定清晰度阈值被满足，则捕获与讲话者的嘴唇、舌头和/或牙齿至少之一的位置相关的图像数据；以及f)如果在所述步骤d)中确定清晰度阈值被满足，则标识出由在所述步骤e)中捕获的图像数据所指示的音素。

在本发明的另一实施例中，本技术涉及一种计算机可读存储介质，其用于将处理器编程为执行一种用于从图像数据中识别音素的方法。该方法包括步骤：a)从捕获设备捕获图像数据和音频数据；b)设置帧速，在该帧速下，捕获设备捕获足以以最小的运动伪像捕获嘴唇、舌头和/或牙齿在形成音素时的位置；c)将图像数据的分辨率设置成不导致在所述步骤b)中设置的帧速的延迟的分辨率；d)针对在所述步骤c)中设置的分辨率提示用户移动到足够接近捕获设备的位置以获得用户的嘴唇、舌头和/或牙齿的具有用于辨别不同音素的足够的清晰度的图像；e)从用户捕获与讲话者的嘴唇、舌头和/或牙齿至少之一的位置相关的图像数据；以及f)基于在所述步骤e)中捕获的图像数据标识出音素。

提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中提及的任何或所有缺点的实现。

附图说明

图1A示出了目标识别、分析和跟踪系统的示例性实施例。

图1B示出了目标识别、分析和跟踪系统的另一示例性实施例。

图2示出了可以在目标识别、分析和跟踪系统中使用的捕获设备的示例性实施例。

图3A示出了可用于在目标识别、分析和跟踪系统中解释一个或多个姿势的计算环境的示例性实施例。