[发明专利]对提供镜面反射和反射修改的表面进行基于图像的检测

说明书

本公开涉及对提供镜面反射和反射修改的表面进行基于图像的检测。本文公开的各种具体实施包括检测表面和该表面中的反射的设备、系统和方法。一些具体实施涉及提供包括虚拟内容的CGR环境，该虚拟内容替换提供反射的反射镜或其他表面中的用户或该用户的设备的外观。例如，该CGR环境能够被修改为包括该用户的反射，该反射不包括该用户正握持或穿戴的该设备。在另一个示例中，该CGR环境被修改，使得虚拟内容诸如较新版本的电子设备或虚拟棒替换在该反射中的该电子设备。在另一个示例中，该CGR环境被修改，使得虚拟内容诸如用户头像替换在该反射中的该用户。

相关申请的交叉引用

本申请要求2019年8月26日提交的美国临时申请序列号62/891,510的权益，并且要求2020年6月5日提交的美国临时申请序列号63/035,160的权益，这两个临时申请均全文并入本文。

技术领域

本公开整体涉及检测提供镜面反射、修改反射的表面或提供描绘此类表面和反射的内容的系统、方法和设备。

背景技术

现有技术可能无法准确地检测和定位反射镜、反射玻璃、液体以及在物理环境中提供镜面反射的其他表面。现有技术在电子设备(包括由用户握持、携带或穿戴的设备)上提供内容时可能未另外准确地描绘此类表面和反射。例如，由用户握持的移动设备可基于用户的物理环境的图像来提供内容，并且该内容可能无法充分描绘或以其他方式利用反射镜和那些反射镜中的反射。

发明内容

本文所公开的各种具体实施包括检测反射镜、玻璃、液体和其他表面以及此类表面中的反射的设备、系统和方法。一些具体实施涉及检测用户或用户的设备在表面中的反射并提供虚拟内容，该虚拟内容增强或替换提供给用户的内容中的反射的外观。例如，环境的视图可被修改为包括用户的反射，该反射不包括用户正握持或穿戴的电子设备。在另一个示例中，可修改环境，使得虚拟内容诸如较新版本的电子设备或虚拟光剑在反射中替换电子设备。在另一个示例中，可修改环境，使得虚拟内容诸如头像在反射中替换用户。

一些具体实施涉及由执行存储在非暂态计算机可读介质中的指令的处理器执行的方法。此类方法可涉及确定环境的视图包括用户或电子设备的反射。确定视图包括反射可涉及：识别用于提供视图的3D模型中的视点包括提供镜面反射的表面；以及确定该视点相对于该表面的角度。在一些具体实施中，确定视图包括反射涉及：例如经由语义分析来识别物理环境中的表面或材料；以及确定那些表面或材料的反射属性。在一些具体实施中，确定视图包括反射涉及：使用计算机视觉例如通过识别设备、用户或其他对象的镜像/反转图像来识别设备、用户或另一对象的反射，。

该方法还可涉及识别替换内容以替换用户或电子设备的反射的至少一部分。在一些具体实施中，替换内容包括当手持移动设备被擦除、增强或以其他方式修改时将可见的用户身体的部分(例如，手、手臂等)或背景内容。在一些具体实施中，替换内容包括当腕戴式设备被擦除、增强或以其他方式修改时将可见的用户身体的部分(例如，手臂、衣服等)或背景内容。在一些具体实施中，替换内容包括当头戴式设备(HMD)被擦除、增强或以其他方式修改时将可见的用户头部的部分(例如，脸颊、眼睛、眉毛、头发等)或背景内容。

在一些具体实施中，替换内容包括将代替电子设备显示的相同类型的电子设备的不同版本。此类替换内容可使得用户能够可视化(例如，虚拟地尝试)当前正使用的电子设备的较新版本或替代形式。在一些具体实施中，替换内容包括将与电子设备一起显示或替换该电子设备的现有附件的附件(例如，保护壳、带等)。

在一些具体实施中，替换内容包括将代替用户的至少一部分的反射显示的头像，例如，用头像的头部或身体替换用户的头部或整个身体。

在一些具体实施中，替换内容包括在将被擦除的电子设备或用户的一部分周围的生成的内容。例如，用户衣服的一部分可在反射中被设备隐藏。替换内容可描绘出在反射未改变以擦除或修改设备的情况下原本会被隐藏的内容。