[发明专利]使用神经学读数将场景分割成语义分量

权利要求书

1.一种用于将场景分割成语义分量的计算机视觉系统，包括：

处理单元，其与生物识别跟踪设备和注视跟踪设备进行通信，所述生物识别跟踪设备被配置为收集来自用户的生理读数，所述注视跟踪设备被配置为跟踪所述用户的注视；以及

一个或多个有形存储介质，其上存储有计算机可执行指令，所述计算机可执行指令当由所述处理单元执行时可操作用于通过至少使所述处理单元进行以下操作来实施用于分割语义分量的方法：

标识来自所述用户的所述生理读数内的差异，所述差异对应于所述用户的可检测到的生理变化，其中所述差异对应于与所述用户的注视相关联的语义边界，并且所述语义边界对应于所述场景内的至少一个边缘，

基于由所述注视跟踪设备收集的数据，标识在标识的所述差异的时间处所述用户的注视的相关位置，以及

将所述用户的注视的所述相关位置与语义边界相关联。

2.根据权利要求1所述的计算机视觉系统，其中所述生理读数来自正在接收来自所述用户的读数的脑电图设备。

3.根据权利要求1所述的计算机视觉系统，其中计算机可执行指令当由所述处理单元执行时还可操作用于：

从成像设备接收与所述用户的视场相对应的图像；以及

标识所述图像内的边缘，其中所述边缘与所述图像内的视觉边界相对应。

4.根据权利要求3所述的计算机视觉系统，其中所述成像设备包括深度相机并且所述图像包括深度信息。

5.根据权利要求3所述的计算机视觉系统，其中所述边缘的至少部分形成所述图像内的分段周围的边界。

6.根据权利要求5所述的计算机视觉系统，其中所述分段至少部分地勾勒出所述场景内的对象的轮廓。

7.根据权利要求5所述的计算机视觉系统，其中计算机可执行指令当由所述处理单元执行时还可操作用于：

将所述用户的注视的所述相关位置与最靠近在标识的所述差异的所述时间处所述用户的注视的所述相关位置的特定边缘相关联；以及

将所述特定边缘与语义边界相关联。

8.根据权利要求7所述的计算机视觉系统，其中计算机可执行指令当由所述处理单元执行时还可操作用于标识包括所述特定边缘的分段作为语义分段。

9.根据权利要求7所述的计算机视觉系统，其中标识来自所述用户的所述生理读数内的差异包括：

将来自所述用户的所述生理读数提供到机器学习算法，其中所述机器学习算法已经被训练为基于所述用户的生理读数来标识所述用户何时已经注视语义边界。

10.一种用于定义场景内的分段之间的语义关系的计算机视觉系统，包括：

一个或多个处理器；以及

一个或多个有形计算机可读介质，其上存储有可执行指令，所述可执行指令当由所述一个或多个处理器执行时将所述计算机系统配置为执行至少以下操作：

标识第一数字捕获场景内的多个分段；

创建定义所述数字捕获场景内的不同分段之间的相关性的相关性数据结构，其中所述分段至少部分地由一个或多个边缘定义；

标识所述第一数字捕获场景中的所述多个分段之间的多个语义边界，所述语义边界对应于所述数字捕获场景内的所述一个或多个边缘，所述语义边界中的每个语义边界分割至少两个相邻分段，其中所述语义边界中的每个语义边界基于在用户正在注视所述一个或多个边缘中的一个边缘时来自所述用户的生理读数内的差异而被标识，所述差异对应于所述用户的可检测到的生理变化；

基于分割所述相邻分段的所述语义边界与包围所述相邻分段的其他语义边界之间的关系来确定所述相邻分段之间的相关性的概率；以及

在所述相关性数据结构内创建描述所述相邻分段之间的相关性的所述概率的语义关系条目。