[发明专利]信息估计、模型检索和模型对准方法和装置

说明书

本公开提供一种信息估计方法，包括获取第一图像；以及利用神经网络对所述第一图像中的对象进行姿态和/或关键点估计。本公开还提供一种模型检索方法，包括获取图像，以及根据所述图像进行模型检索，获得与所述图像中的对象匹配的目标模型。本公开还提供一种模型对准方法，包括获取第一图像；以及将所述第一图像中的对象与目标模型。

技术领域

本公开涉及增强现实技术领域，特别涉及信息估计、模型检索和模型对准方法和装置。

背景技术

近年来，增强现实(Augmented Reality，简称AR)技术受到越来越多的关注。增强现实技术是一种将真实世界信息和虚拟世界信息集成的技术，AR不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加，这给用户带来了全新的体验。

增强现实技术的一个基本功能是三维交互，即在现实世界的三维对象上叠加显示增强信息(虚拟对象或者文字等)。先进的增强现实功能需要对象的三维信息。然而现有的对象检测器或者SLAM(simultaneous localization and mapping,同步定位与建图)系统却并不能提供这些信息。

发明内容

有鉴于此，本公开的实施例提供了新的信息估计装置和方法、新的模型检索装置和方法、新的模型对准装置和方法，及其任意组合的装置和方法。

按照本公开的一方面，提供了一种信息估计方法，包括获取第一图像；以及利用神经网络对所述第一图像中的对象进行姿态和/或关键点估计。

所述神经网络包括姿态和/或关键点估计模块和领域自适应模块，所述神经网络的网络参数是采用合成图像和真实图像对所述姿态和/或关键点估计模块和所述领域自适应模块进行训练得到的。

在实施例中，该信息估计方法还可以包括根据所述第一图像和至少一个第二图像进行检索，得到目标模型，所述对象在所述第一图像中的第一姿态和在所述至少一个第二图像中的第二姿态各不相同。

在实施例中，该信息估计方法还可以包括：根据所述第一图像和所述至少一个第二图像获取图像特征，根据各模型在所述第一姿态下的图像和第二姿态下的图像获取各模型的模型特征，计算所述图像特征和所述各模型的模型特征的相似度，根据相似度在所述各模型中确定目标模型。

在实施例中，该信息估计方法还可以包括如下中的任一种：利用所述对象的姿态信息将目标模型和所述对象进行对准，再利用所述对象的关键点信息和所述目标模型的关键点信息对所述对准进行校准；以及利用所述对象的关键点信息将目标模型和所述对象进行对准，再利用所述对象的姿态信息和所述目标模型对所述对准进行校准。

该信息估计方法还可以包括利用所述对象的姿态信息和目标模型、所述对象的关键点信息和目标模型、以及与所述对象对准的目标模型中的至少一项来执行以下任一功能：操控所述对象；预测所述对象的行为；在所述对象表面绘制预定义内容；更新和/或控制虚拟对象的姿态。

按照本公开的另一方面，提供了一种模型检索方法，包括获取图像，以及根据所述图像进行模型检索，获得与所述图像中的对象匹配的目标模型。

所述图像包括第一图像和至少一个第二图像，所述对象在所述第一图像中的第一姿态和在所述至少一个第二图像中的第二姿态各不相同。

在实施例中，所述模型检索方法还可以包括根据所述第一图像和所述至少一个第二图像，获取图像特征，根据各模型在所述第一姿态下的图像和第二姿态下的图像获取各模型的模型特征，计算所述图像特征和所述各模型的模型特征的相似度，根据相似度在所述各模型中确定目标模型。