[发明专利]基于AR的场景导览方法、AR眼镜、电子装置和存储介质

权利要求书

1.一种基于AR的场景导览方法，其特征在于，包括：

获取用户视野所及的空间区域的实时图像，对所述实时图像进行目标识别处理，得到所述实时图像中的展品图像；

对所述展品图像进行特征提取处理，得到所述展品图像的全局特征描述符和特征点描述符；

获取待检索图像的全局特征描述符，根据所述展品图像和所述待检索图像的全局特征描述符，从所述待检索图像中确定与所述展品图像匹配的至少一张相似图像；获取所述相似图像的特征点描述符，根据所述展品图像和所述待检索图像的特征点描述符，得到匹配特征点对，并从所述相似图像中确定匹配特征点对数目最多的第一相似图像；

获取所述匹配特征点对中的特征点在所述展品图像上的位置信息，根据所述位置信息，确定用户相对于所述展品图像的空间位姿；根据所述空间位姿获取对应于所述第一相似图像的虚拟信息，并将所述虚拟信息叠加显示于用户视野所及的空间区域。

2.根据权利要求1所述的基于AR的场景导览方法，其特征在于，所述虚拟信息包括用户视野所及的当前展品在展厅中的坐标。

3.根据权利要求1或2所述的基于AR的场景导览方法，其特征在于，所述虚拟信息包括从当前展品指向下一个展品的预设导览信息。

4.根据权利要求1所述的基于AR的场景导览方法，其特征在于，对所述展品图像进行特征提取处理，得到所述展品图像的全局特征描述符和特征点描述符包括：

采用预训练的卷积神经网络对所述展品图像进行特征提取处理，其中，所述预训练的卷积神经网络包括第一网络和第二网络，所述第一网络的隐藏层与所述第二网络的输入端连接；

采用预训练的卷积神经网络对所述展品图像进行特征提取处理包括：

将所述展品图像输入至所述第一网络进行特征提取处理，输出浅层特征和所述全局特征描述符；

将所述浅层特征输入至所述第二网络进行特征提取处理，输出所述特征点描述符。

5.根据权利要求4所述的基于AR的场景导览方法，其特征在于，将所述浅层特征输入至所述第二网络进行特征提取处理，输出所述特征点描述符包括：

将所述浅层特征输入至所述第二网络进行特征提取处理，得到所述第二网络中最后一个卷积层输出的特征图；

将所述特征图进行归一化处理，得到特征点响应得分图；

确定所述特征点响应得分图中大于预设阈值的特征点，并输出所述特征点的特征点描述符。

6.根据权利要求4所述的基于AR的场景导览方法，其特征在于，所述浅层特征包括所述展品图像的线条信息和/或边缘信息；所述全局特征描述符包括所述展品图像的整体结构信息；所述特征点描述符包括所述展品图像的局部结构信息。

7.根据权利要求4所述的基于AR的场景导览方法，其特征在于，训练所述卷积神经网络的方法包括：

训练所述第一网络，得到所述第一网络的网络权重；

根据所述第一网络的网络权重，训练所述第二网络。

8.一种AR眼镜，其特征在于，包括：摄像头、显示屏和处理单元，所述处理单元与所述摄像头、所述显示屏连接；其中，

所述摄像头用于拍摄实时图像；

所述处理单元用于执行权利要求1至7中任一项所述的基于AR的场景导览方法；

所述显示屏用于播放所述处理单元生成的虚拟信息。

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的基于AR的场景导览方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于AR的场景导览方法的步骤。