[发明专利]基于机器的手语翻译器

说明书

技术领域

本发明涉及计算机系统，尤其涉及计算机实现的语言翻译系统。

背景技术

已经在众多不同的上下文中开发了语言翻译系统。存在这样的技术，其基于选择被显示的特定意思或单词，用于将书面语言从一种语言翻译到另一种，以及向用户显示手语动作。

公开了为了控制例如游戏的计算机界面，使用例如照相机的多个传感器以检测动作和姿势的系统。

发明内容

提供了将手语(姿势的通信)译成书面或听觉形式的通信的技术。检测用户的姿势(通常使用手)，并且检测到的姿势被与手势匹配。连续的手势被检测并且与语法库比较以确定分配给姿势的手势相对于彼此以及语法上下文是否是有意义的。在一个实施例中，提供了用于翻译手语的计算机实现的方法。拍摄设备拍摄包括人物目标的场景，并且跟踪了在场景内用户身体部分的动作(尤其是手)。姿势被检测并且与和词汇库中手语手势相匹配的姿势比较。可以将每个手势与以前的和连续的手势比较以确定手势相对于彼此是否是有意义的。还可以进一步将手势与用户人口统计信息和上下文数据库比较以验证翻译的准确性。提供了动作和手势之间的匹配的输出。

提供本发明内容以便用一种简单的形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容不旨在确定所要求保护的主题的关键或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图说明

图1A和1B示出用户玩游戏的跟踪系统的示例实施例。

图2示出可以用作跟踪系统的部分的拍摄设备的示例实施例。

图3描述可以用于跟踪姿势以及基于跟踪到的姿势执行应用程序的处理设备的示例。

图4示出可以用于跟踪动作以及基于跟踪到的动作更新应用程序的计算系统的第二个示例实施例。

图5A-5D是美国手语(ASL)的各种视觉手势的表示。

图6A和6B是在不同上下文中采用的美国手势的各种视觉手势的表示。

图7是示出依照本技术的方法的流程图。

图8是示出将姿势与已知手势库比较的方法的流程图。

图9是示出将手势与相邻手势比较的方法的流程图。

图10A-10E是用于用户的姿势识别器和骨骼跟踪模型的表示。

图11-12示出在本技术的系统中使用的示例性显示输出和用户界面。

具体实施方式

提供了用于基于用户的姿势以执行手语翻译的技术。拍摄设备用于检测用户的动作，并且检测到的姿势被与手势匹配。连续的手势被检测并且与语法库比较以确定分配给姿势的手势相对于彼此以及词汇上下文是否是有意义的。可以将每个手势与以前的和连续的手势比较以确定手势相对于彼此是否是有意义的。还可以进一步将手势与用户人口统计信息和上下文数据库比较以验证翻译的准确性。提供了动作和手势之间的匹配的输出。

图1A示出可以与本技术一起使用的系统10的示例实施例。示例性跟踪和翻译系统10的一个用途是用户18在玩游戏。替代地，如此处所述，系统可以用于在用户姿势被识别为一个或更多手语的手势时来翻译和解释手语。

图1A中的示例是用户玩拳击游戏。在示例实施例中，系统10可以用于识别、分析和/或跟踪诸如用户18的人物目标或在跟踪系统10范围内的其它对象。

跟踪系统10可以包括计算系统12。计算系统12可以是计算机、游戏系统、或游戏控制台、等等。根据示例实施例，计算系统12可以包括硬件组件和/或软件组件，以使得计算系统12可以用于执行诸如游戏应用程序、非游戏应用程序等的应用程序。在一个实施例中，计算系统12可以包括诸如标准处理器、专用处理器、微处理器等的处理器，该处理器可以执行存储在处理器可读存储设备上用于执行此处所述过程的指令。

如图1A所示，跟踪和翻译系统10可以进一步包括拍摄设备20。例如，如以下将更详细描述的，拍摄设备20可以是能够用于视觉地监控例如用户18的一个或更多用户的照相机，以使得可以拍摄、分析和跟踪由一个或更多用户执行的姿势和/或动作，以执行应用程序中的一个或更多控制或动作和/或动画化化身或屏幕上的角色。