[发明专利]一种眼镜虚拟试戴系统和方法

说明书

本公开主题的各个方面涉及用于诸如眼镜的物品的虚拟试戴系统、方法和机器可读介质。虚拟试戴界面可以在服务器或用户设备上实施，并且可以在眼镜的三维模型与用户面部和头部的三维模型之间使用碰撞检测，来确定虚拟试戴的眼镜的正确尺寸和位置。通过确定的尺寸和位置，将眼镜的虚拟表示叠加在用户的图像上。

技术领域

本公开总体上涉及增强现实，并且更具体地涉及一种眼镜虚拟试戴系统和方法。

背景技术

已经开发了将虚拟对象数字地叠加在现实对象的图像上的增强现实应用。在某些情况下，当用户导航场景时，会将虚拟对象(例如，游戏角色)添加到智能手机或平板电脑显示的场景图像中。在其他情况下，将卡通特征(例如，卡通动物面部特征)添加到智能手机或平板电脑的用户的面部图像，该图像已经被智能手机或平板电脑的相机捕获。在这些常规的增强现实系统中，虚拟对象的卡通化或不现实的性质使得虚拟对象相对于现实世界对象在尺寸、形状、方向和位置的准确性上有明显的偏差。

发明内容

本公开提供了一种用于一副眼镜架的虚拟试戴(VTO)系统。所公开的系统和方法使得VTO界面的用户在不接触物理眼镜架的情况下就能够确定眼镜架在其面部的外观。在公开的系统和方法中，用户的图像由照相机捕获，将眼镜架的虚拟表示叠加到捕获的图像上，并将合成图像呈现给用户。

然而，在创建真实的虚拟试戴体验时，有两个主要挑战，包括(i)针对特定用户的唯一面部测量值和特征的眼镜架的实际尺寸，以及(ii)眼镜架将处于用户的真实三维面部的实际位置。

根据本公开的方面，提供了克服这些挑战的系统和方法。例如，如下文中进一步详细描述的，可以至少部分地通过确定捕获的图像中用户的绝对大小和距离来克服上述挑战(i)，并且可以通过将眼镜架的三维模型与用户面部和头部的各个方面的三维位置信息迭代的相交，来克服上述挑战(ii)。

根据本公开的一些方面，提供了一种计算机实施的方法。该方法包括：使用电子设备的照相机捕获用户的面部的图像；使用所述电子设备的传感器获得所述用户的三维位置信息；获得一副眼镜的三维模型；基于所述图像和所述三维位置信息，确定所述眼镜的虚拟表示的位置；基于所述图像和所述三维位置信息，确定所述眼镜的虚拟表示的尺寸；以及使用所述电子设备的显示器显示组合图像，所述组合图像包括所述用户的图像和具有确定的尺寸和确定的位置的所述眼镜的虚拟表示。

根据本公开的一些方面，提供了一种计算机实施的方法。该方法包括：捕获用户的面部的图像；在捕获所述图像时获得所述用户的三维模型；获得一副眼镜的三维模型；基于所述图像、捕获所述图像时获得的所述用户的三维模型以及所述一副眼镜的三维模型，确定所述眼镜的虚拟表示的尺寸和位置；以及显示叠加在所述用户的面部的图像上的具有确定的尺寸和确定的位置的所述眼镜的虚拟表示。

根据本公开的一些方面，提供了一种系统，该系统包括服务器和用户的用户设备，该服务器具有存储多副眼镜的三维模型的数据库。所述用户设备包括存储代码的存储器，所述代码在由所述用户设备的处理器执行时使所述处理器：捕获所述用户的面部的图像；获得所述用户的三维模型；从所述服务器获得多副眼镜中选择的一副眼镜的三维模型；基于所述图像、所述用户的三维模型以及多副眼镜中选择的一副眼镜的三维模型，确定所述选择的一副眼镜的虚拟表示的尺寸和位置；以及提供叠加在所述用户面部的图像上的具有确定的尺寸和确定的位置的所述选择的一副眼镜的虚拟表示，以进行显示。

应当理解，通过以下详细描述，本主题技术的其他配置对于本领域技术人员将变得显而易见，其中，以示例方式示出并描述了本主题技术的各种配置。将会认识到，本主题技术能够具有其他和不同的配置，并且能够在各种其他方面对其若干细节进行修改，所有这些都不脱离本主题技术的范围。因此，附图和详细描述本质上应被认为是说明性的而不是限制性的。

附图说明

所包含的附图是为了提供进一步的理解，并且附图并入本说明书中并构成本说明书的一部分，附图示出了本公开的实施例，并且与说明书一起用于解释本公开的实施例的原理。在附图中：