[发明专利]基于远程用户输入的上下文游戏内元素识别、注释和交互

权利要求书

1.一种用于注释由视频游戏生成的视频帧的系统，所述系统包括：

至少一个处理器电路；

至少一个存储器，所述至少一个存储器存储被配置成由所述至少一个处理器电路执行的程序代码，所述程序代码包括：

视频游戏模型生成器，所述视频游戏模型生成器被配置成生成将元素标签与所述视频游戏的元素相关联的视频游戏模型；

视频游戏覆盖，所述视频游戏覆盖与所述视频游戏被并发地执行并且包括：

接收机，所述接收机被配置成通过网络从一个或多个远程设备接收远程用户输入；

解析器，所述解析器被配置成应用所述视频游戏模型来解析所述远程用户输入并从中提取与所述视频游戏相对应的元素标签；

元素识别器，所述元素识别器被配置成应用所述视频游戏模型以标识所述视频游戏中与所述元素标签相对应的元素；以及

注释渲染器，所述注释渲染器被配置成基于所标识的元素和所标识的元素的位置来注释所述视频帧。

2.根据权利要求1所述的系统，其特征在于，所述视频游戏模型生成器被配置成基于受监督训练或无监督训练中的一者或多者来生成所述视频游戏模型。

3.根据权利要求1所述的系统，其特征在于，所述接收机包括经由其接收所述远程用户输入的多个插件，其中每个插件对应于不同的远程服务。

4.根据权利要求1所述的系统，其特征在于，所述视频游戏覆盖进一步包括归一化器，所述归一化器被配置成在由所述解析器解析所述远程用户输入之前归一化所述远程用户输入。

5.根据权利要求1所述的系统，其特征在于，所述远程用户输入包括多个远程用户输入流，并且其中所述视频游戏覆盖进一步包括：

复用器，所述复用器在由所述解析器解析所述远程用户输入之前组合所述远程用户输入流以生成单个经复用的输入流。

6.根据权利要求1所述的系统，其特征在于，所述远程用户输入包括以下至少一者：

语音输入；

文本输入；

触摸屏输入；或

定点设备输入。

7.根据权利要求6所述的系统，其特征在于，所述远程用户输入包括语音输入，并且其中所述视频游戏覆盖进一步包括语音至文本转换器，所述语音至文本转换器在由所述解析器解析所述语音输入之前将所述语音输入转换为文本输入。

8.根据权利要求1所述的系统，其特征在于，所述视频游戏覆盖进一步包括：

注释选择器，所述注释选择器被配置成基于所标识的元素和位置中的一者或多者来选择所述注释以用于渲染到所述视频帧。

9.根据权利要求1所述的系统，其特征在于，所述注释包括以下至少一者：

所述元素的突出显示；

对去往所述元素的方向的视觉指示；

围绕所述元素的形状；或者

所述元素的轮廓。

10.一种用于注释由视频游戏生成的视频帧的方法，所述方法包括：

与所述视频游戏并发地执行视频游戏覆盖，所述执行所述视频游戏覆盖包括：

通过网络从一个或多个远程设备接收远程用户输入；

应用将元素标签与所述视频游戏的元素相关联的视频游戏模型以：

解析所述远程用户输入并从中提取与所述视频游戏相对应的元素标签；以及

标识所述视频游戏中与所述元素标签相对应的元素；以及

基于所标识的元素和所标识的元素的位置来注释所述视频帧。

11.根据权利要求10所述的方法，其特征在于，所述接收所述远程用户输入包括：经由多个插件接收所述远程用户输入，其中每个插件对应于不同的远程服务。