[发明专利]基于环境的应用演示

权利要求书

1.一种方法，包括：

在具有一个或多个处理器、存储器和相机的电子设备处：

使用所述相机获得物理场景的图像数据；

基于所述图像数据，使用物理对象的分类器来识别所述物理场景中的一个或多个物理对象；

基于所述识别的物理对象中的所述一个或多个，确定所述物理场景的几何布局；以及

基于所述确定的几何布局显示与所述物理场景相关联的虚拟对象。

2.根据权利要求1所述的方法，还包括：

使用位于所述物理场景的所述几何布局的一部分中的识别的物理对象来确定所述物理场景的类型，并且

其中，显示与所述物理场景相关联的所述虚拟对象包括基于所述物理场景的所述类型来显示所述虚拟对象。

3.根据权利要求1和2中任一项所述的方法，其中，确定所述物理场景的所述几何布局包括：

确定识别的物理对象是否被指示为具有低移动性；以及响应于确定所述识别的物理对象被指示为具有低移动性，使用所述识别的物理对象来确定所述物理场景的所述几何布局。

4.根据权利要求1至3中任一项所述的方法，识别的多个物理对象包括厨房用具，其中，所述物理场景的所述确定的类型是厨房，其中，所述几何布局包括表示工作台面的表面，并且其中，所述显示的虚拟对象包括食谱。

5.根据权利要求1至4中任一项所述的方法，

其中，确定所述物理场景的所述几何布局包括：

确定与所述物理场景中的所述识别的物理对象中的一个或多个相关联的空间信息；

确定所述识别的物理对象中的所述一个或多个相对于所述电子设备的距离；以及

根据所述空间信息和所述深度信息估计所述物理场景的所述几何布局。

6.根据权利要求1至5中任一项所述的方法，其中，确定所述识别的物理对象中的所述一个或多个的所述距离包括使用所述电子设备的深度传感器来估计物理对象相对于所述电子设备的深度。

7.根据权利要求1至6中任一项所述的方法，其中，识别在所述物理场景中的所述一个或多个物理对象中的一个包括：

使用一个或多个对象分类器来确定与所述物理对象相关联的一个或多个候选类；

基于由所述对象分类器提供的相应置信概率对所述一个或多个候选类进行排名；以及

基于所述排名选择候选类；

将位于所述物理场景中的物理对象识别为所述选择的候选类的对象。

8.根据权利要求1至7中任一项所述的方法，还包括：

使用所述虚拟对象提供一个或多个服务，其中，所述一个或多个服务对应于所述物理场景的所述识别的类型。

9.根据权利要求1至8中任一项所述的方法，还包括：

使用所述虚拟对象提供一个或多个服务，其中，所述一个或多个服务对应于所述物理场景的所述确定的几何布局。

10.根据权利要求1至9中任一项所述的方法，其中，显示所述虚拟对象包括使用所述电子设备的多个显示器以3D立体格式显示所述虚拟对象。

11.根据权利要求1至10中任一项所述的方法，其中：

使用物理对象的分类器识别所述物理场景中的所述一个或多个物理对象包括：

使用对应于所述一个或多个物理对象的多个分类器来识别所述物理场景中的所述一个或多个物理对象，

所述方法还包括：

基于所述物理场景的所述确定的几何布局，确定区域；

基于所述确定的区域，使用对应于所述确定的区域的一个或多个分类器来识别所述物理场景中的物理对象，其中，所述物理对象与所述确定的区域相关联；以及

基于所述识别的特定物理对象，确定所述物理场景的类型，并且

基于所述确定的几何布局显示与所述物理场景相关联的所述虚拟对象包括：

基于所述物理场景的所述类型，显示与所述物理环境相关联的所述虚拟对象。