[发明专利]基于远程用户输入的上下文游戏内元素识别、注释和交互

说明书

提供了用于注释由视频游戏生成的视频帧的系统、方法和装置。将元素标签与视频游戏的元素相关联的视频游戏模型可被生成。视频游戏模型可由与视频游戏并发地执行的视频游戏覆盖来应用。视频游戏覆盖可以通过网络从一个或多个远程设备接收远程用户输入。远程用户输入可以通过应用视频游戏模型来被复用和/或归一化以及被后续地解析，以提取与视频游戏相对应的元素标签。通过应用视频游戏模型，视频游戏中与元素标签相对应的游戏内元素可在视频帧中被标识。基于视频游戏的视频帧中的所标识元素，视频帧可被注释并呈现给视频游戏用户。

背景技术

在游戏应用中，位于远程的用户可以通过网络连接(诸如因特网)来观看视频游戏玩家的实时游戏过程。位于远程的用户还可以(例如，通过传送玩家在玩视频游戏时可查看或听到的消息来)与视频游戏玩家交互，从而实现在各个用户之间的社交游戏体验。在一些场景中，消息可以连同游戏过程一起显示在玩家的显示设备上。由此，此类社交游戏体验可以准许多个位于远程的个体进行讨论、协作并协助解决游戏任务等。

发明内容

提供本发明内容以便以简化的形式介绍以下在具体实施方式述中进一步描述的概念的选集。本发明内容并不旨在标识所要求保护的主题的关键特征或必要特征，亦非旨在用于限制所要求保护的主题的范围。

提供了用于注释由视频游戏生成的视频帧的系统、方法和计算机程序产品。将元素标签与视频游戏的元素相关联的视频游戏模型可被生成。视频游戏模型可以按数种方式(包括通过受监督和/或无监督的训练)来生成。被配置成在视频帧上显示覆盖的注释的视频游戏覆盖可以与视频游戏并发地被执行。视频游戏覆盖可以通过网络从一个或多个远程设备接收远程用户输入。远程用户输入可以通过应用视频游戏模型来解析，以提取与视频游戏相对应的元素标签。通过使用视频游戏模型，视频游戏的与元素标签相对应的元素可在视频帧中被标识。基于视频帧中所标识的元素，视频帧可以按各种方式来注释。

以此方式，视频游戏覆盖可以自动地解析远程用户输入，以实时标识和注释当前视频游戏玩家正在玩的视频游戏的元素。例如，如果接收到指示视频游戏玩家应将足球传给特定玩家的消息，则视频游戏覆盖可标识该玩家，确定该玩家在视频帧上的位置，并且注释该视频帧以标识该玩家(例如，通过在玩家周围绘制轮廓)。通过以此方式自动地标识和注释元素，视频游戏玩家可以容易地查看与远程用户输入相对应的屏幕上注释，因为它们与实际的实时游戏过程有关，而无需单独地读取或收听远程用户输入。作为结果，用户不太可能被远程用户输入分散注意力，并且可以对玩视频游戏保持更好的专注度。

下文参考附图详细描述各个示例实施例的进一步特征和优点以及结构和操作。注意，示例实现不限于本文所述的特定实施例。本文呈现这些示例实施例仅用于说明性的用途。基于本文包含的示教，附加的实现对相关领域的技术人员将是显而易见的。

附图简述

合并到本文并构成说明书的一部分的附图例示了本申请的各示例实施例，并且与说明书一起进一步用于解释各实施例的原理并允许相关领域技术人员实施和使用这些示例实施例。

图1示出了根据一示例实施例的用于注释由视频游戏生成的视频帧的系统的框图。

图2示出了根据一示例实施例的用于注释由视频游戏生成的视频帧的方法的流程图。

图3示出了根据一示例实施例的视频游戏覆盖的框图。

图4示出了根据一示例实施例的用于生成视频游戏模型的方法的流程图。

图5示出了根据一示例实施例的用于生成经复用的远程用户输入流的方法的流程图。

图6示出了根据一示例实施例的用于选择注释以用于渲染到视频帧的方法的流程图。

图7A-7D示出了根据一示例实施例的用于渲染到视频游戏的视频帧的示例注释。

图8是可用于实现各个示例实施例的示例基于处理器的计算机系统的框图。