[发明专利]计算机生成渲染环境的视觉搜索细化

说明书

本公开涉及计算机生成渲染环境的视觉搜索细化。所公开的各种具体实施包括能够更快、更有效地进行实时物理对象识别、信息检索和CGR环境更新的设备、系统和方法。在一些具体实施中，基于所述物理对象、图像或视频数据的分类，在所述第一设备处提供所述CGR环境，包括：由所述第一设备将所述物理对象传输到第二设备，以及基于从所述第二设备接收的与物理对象相关联的响应，由所述第一设备更新所述CGR环境。

技术领域

本发明涉及提供一种计算机生成渲染(CGR)环境，并且具体地讲，涉及用于识别物理对象并基于与所识别的物理对象相关联的信息更新该CGR环境的系统、方法和设备。

背景技术

在设备(例如，便携式电子设备)处提供由该设备在图像或视频数据中检测到的物理对象的信息，在计算上既昂贵又耗时，这通常导致与执行图像或视频数据的分割和对象识别相关联的处理延迟相当长。例如，该设备的用户可走进一个房间，然后经历相当长的延迟，之后该设备才能识别到房间内的一切对象。

发明内容

本发明公开的各种具体实施包括能够更快、更有效地进行实时物理对象识别、信息检索和CGR环境更新的设备、系统和方法。在一些具体实施中，一种具有处理器、显示器和相机的设备(例如移动计算设备或头戴式设备(HMD))实现了经由相机获得物理布景(setting)的图像或视频的方法。例如，该设备可捕获实时视频流。该设备基于与图像或视频中检测到的物理对象相关联的特征，将物理对象分类为一定类别，并根据该类别来在显示器上提供CGR环境。在一些具体实施中，该设备基于对物理对象的粗略识别来对物理对象进行分类，例如，基于相对较少的信息，或者使用处理要求比其他精细识别技术更低的处理技术。此外，可认为图像或视频的特定部分包含该对象。例如，该设备可基于对象的形状、颜色、尺寸、体积、标记或与该对象相关联的任意数量的简单或复杂特征通过局域神经网络检测到该对象是膝上型电脑，并且可基于将该物理对象分类为膝上型电脑类别而显示来自资源商店的通用膝上型电脑。在一些具体实施中，该设备可基于该类别，利用来自驻留在该设备上的资源商店的通用虚拟内容来替换、增强或补充该物理对象。

在一些具体实施中，该设备将图像或视频的一部分(例如，一些或全部)传输到第二设备(例如，服务器、台式计算机、云计算设备等)。例如，该设备可将图像或视频的包括该物理对象的部分发送到第二设备。在一些具体实施中，该设备确定该图像或视频是否满足隐私标准。此外，该设备可基于满足隐私标准来确定是否将该图像或视频的包括该物理对象的部分传输到第二设备。在一些具体实施中，该设备将一个或多个检测到的特征或所确定的类别传输到第二设备。

在一些具体实施中，该设备接收与对象相关联的响应，并基于该响应来更新显示器上的CGR环境。该响应是基于由该第二设备执行的对物理对象的识别来确定的。该第二设备基于对物理对象的精细识别而对物理对象进行识别，例如，基于相对较多的信息，或者使用处理要求比用于对象分类的粗略识别技术更多的处理技术。例如，该第二设备可访问在第一设备上不可用的稳定的对象信息库，以识别特定对象或获得关于该对象的特定信息。例如，与该对象相关联的响应可包括：对子类别(例如，X品牌的膝上型计算机)的识别、对特定类型的项(例如，型号)的识别、补充信息(例如，用户手册)、与对象相关联的动画、三维姿态、计算机辅助绘图(CAD)模型等。已从该第二设备接收到响应的该设备可基于该识别(例如，显示对膝上型电脑的描绘以匹配特定模型，显示与膝上型电脑相邻的用户手册等)来改变对该对象的描绘，或者可生成与该对象相关联的体验(例如，触发动画、提供三维姿态等)。在一些具体实施中，与该对象相关联的所接收的响应包括将由该设备用于识别未来图像或视频中的物理对象的识别数据(例如，属性的矢量、描述符等)。此外，在一些具体实施中，与该对象相关联的所接收的响应包括对物理对象的状况(例如，该设备是否是损坏的、未损坏的、润湿的、干燥的、竖直的或水平的等)的评估。

在一些具体实施中，该设备可将基于该类别显示的通用虚拟内容替换为基于与该对象相关联的所接收的响应的特定于对象的内容。