[发明专利]使用神经学读数将场景分割成语义分量

说明书

用于将场景分割成语义分量的计算机视觉系统标识来自用户的生理读数内的差异。该差异对应于与用户的注视相关联的语义边界。基于由注视跟踪设备收集的数据，计算机视觉系统标识在所标识的差异的时间处用户的注视的相关位置。计算机视觉系统然后将用户的注视的相关位置与语义边界相关联。

技术领域

本公开的实施例涉及总体上涉及计算机领域，并且更具体地涉及使用神经学读数将场景分割成语义分量的系统和方法。

背景技术

因为处理和机器已经变得更加自动化，所以计算机视觉系统已经获得了更大的重要性和兴趣，两者都在工业和消费空间内。例如，蔬菜工厂可以利用计算机视觉系统来沿着装配线监测和控制蔬菜的质量。类似地，机器人或无人驾驶车辆可以利用计算机视觉系统来帮助从一个地方导航到另一个地方。

因为计算机视觉系统和支持的计算机技术已经进步，所以智能地标识真实世界内的对象的能力已经变成高度感兴趣的话题。为了标识真实世界内的对象，计算机视觉系统必须将图像内的对象彼此区分开。例如，计算机视觉系统可以被指派有将椅子与包含椅子的房间的背景图像区分开的问题的任务。另外，除了简单地标识图像内的对象以外，标识对象的实际类型将提供重要益处。例如，期望计算机视觉系统标识图像中的对象是椅子。

除了计算机视觉系统的各种其他工业和消费用途，最近计算机视觉系统已经被并入到虚拟现实和增强现实系统中。计算机视觉系统可以用于将信息叠加在增强现实系统内的用户的视场中。例如，可能期望使增强现实系统自动地显示关于用户正在关注的对象的信息。然而，包括虚拟现实和增强现实系统的各种计算机系统具有确定用户正在关注的实际对象的困难。例如，难以确定用户是正在关注另一个人、此人的头部、此人的脸部还是此人的鼻子。这些可能的关注点中的每个可能严重地影响增强现实系统将通常显示什么信息。因此，存在对能够标识用户正在场景内关注的具体对象的改进的计算机视觉系统的持续需求。

本文中要求保护的主题不限于解决任何缺点或仅仅操作于例如以上描述的环境的环境中的实施例。相反，该背景仅仅被提供以说明本文中描述的一些实施例可以被实践在其中的一个示例性技术领域。

发明内容

本文中公开的实施例包括被配置为将场景分割成语义分段的系统、方法和装置。具体地，本发明的实施方式包括用于测量来自用户的生理读数的生物识别设备和用于跟踪用户的注视的注视跟踪设备。计算机视觉系统可以分析生理读数和用户的注视以确定用户的注视何时关注语义边界。计算机视觉系统可以然后基于在特定场景内标识的语义边界的集合来标识语义分段。

所公开的实施例包括一种用于将场景分割成语义分量的计算机视觉系统。计算机视觉系统包括处理单元，其与生物识别跟踪设备和注视跟踪设备进行通信，生物识别跟踪设备被配置为收集来自用户的生理读数，注视跟踪设备被配置为跟踪用户的注视。计算机视觉系统标识来自用户的生理读数内的差异。该差异对应于与用户的注视相关联的语义边界。基于由注视跟踪设备收集的数据，计算机视觉系统标识在所标识的差异的时间处用户的注视的相关位置。计算机视觉系统然后将用户的注视的相关位置与语义边界相关联。

所公开的实施例还包括用于定义场景内的分段之间的语义关系的另一种或另外的计算机视觉系统。计算机视觉系统包括一个或多个处理器和其上存储有可执行指令的一个或多个计算机可读介质。可执行指令当被执行时使计算机视觉系统执行各种动作。

例如，计算机视觉系统标识第一数字捕获场景内的多个分段。计算机视觉系统还创建定义数字捕获场景内的不同分段之间的相关性的相关性数据结构。分段至少部分地由一个或多个边界定义。另外，计算机视觉系统标识第一数字捕获场景中的多个分段之间的多个语义边界，语义边界中的每个分割至少两个相邻分段。计算机视觉系统基于在用户正在注视一个或多个边界中的一个时来自用户的生理读数内的差异来标识语义边界中的每个。计算机视觉系统然后基于分割相邻分段的语义边界与包围相邻分段的其他语义边界之间的关系来确定相邻分段之间的相关性的概率。计算机视觉系统然后在相关性数据结构内创建描述相邻分段之间的相关性的概率的语义关系条目。