[发明专利]用于实时支持AR的网络服务可视化的相机重定位方法

权利要求书

1.一种装置，包括：

至少一个处理电路装置，以及

至少一个存储器，用于存储要由所述处理电路装置执行的指令，其中所述至少一个存储器和所述指令被配置为与所述至少一个处理电路装置一起引起所述装置至少：

将从位于第一三维环境中的第一终端端点设备获取的显示数据输入到深度神经网络模型中，以用于终端端点设备姿态估计，

所述显示数据至少包括：

由所述第一终端端点设备在第一时间点获取的所述第一三维环境的至少一部分的捕获图像的图像数据，以及

感测数据，所述感测数据指示由所述第一终端端点设备在第二时间点获取的所述三维环境中所述第一终端端点设备的运动的至少运动矢量，

所述深度神经网络模型以以下项作为模型输入而被训练：

由位于三维训练环境中的训练终端端点设备获取的所述三维训练环境的至少一部分的捕获训练图像的训练图像数据，以及

指示所述三维训练环境中所述训练终端端点设备的运动的至少运动矢量的训练感测数据，

并且以以下项作为模型输出：

所述三维训练环境中所述训练终端端点设备的训练姿态，以及

基于输入的所述显示数据，从所述深度神经网络模型获取所述第一三维环境中所述第一终端端点设备的第一估计姿态，以用于终端端点设备姿态估计。

2.根据权利要求1所述的装置，其中所述第一时间点等于所述第二时间点。

3.根据权利要求1或2所述的装置，其中所述至少一个存储器和所述指令还被配置为引起所述装置至少：

向所述显示数据中添加在所述第一估计姿态之前从所述深度神经网络模型获取的所述第一三维环境中所述第一终端端点设备的先前估计姿态，并且

所述深度神经网络模型以所述训练终端端点设备的先前输出训练姿态作为模型输入而被进一步训练。

4.根据权利要求1或2所述的装置，其中所述至少一个存储器和所述指令还被配置为引起所述装置至少：

向所述显示数据中添加先前图像数据和先前感测数据，

所述先前图像数据是由所述第一终端端点设备在所述第一时间点之前的第三时间点获取的所述第一三维环境的至少一部分的先前捕获图像的图像数据，以及

所述先前感测数据是指示由所述第一终端端点设备在所述第二时间点之前的第四时间点获取的所述三维环境中所述第一终端端点设备的先前运动的至少运动矢量的感测数据，以及

所述深度神经网络模型以先前图像数据和先前感测数据作为模型输入而被进一步训练。

5.根据权利要求4所述的装置，其中所述第三时间点等于所述第四时间点。

6.根据权利要求1至5中任一项所述的装置，其中所述感测数据包括从加速度计、陀螺仪、磁力计和融合传感器中的至少一项获取的数据。

7.根据权利要求1至6中任一项所述的装置，其中所述训练终端端点设备是第二终端端点设备。

8.根据权利要求1至6中任一项所述的装置，其中所述训练终端端点设备是计算机模拟终端端点设备，并且所述三维训练环境是计算机模拟三维训练环境。

9.根据权利要求7或8所述的装置，其中

如果所述三维训练环境不同于所述第一三维环境，则

通过从所述三维训练环境中对所述第一三维环境的迁移学习，所述深度神经网络模型被用于所述第一三维环境中的终端端点设备姿态估计。

10.根据权利要求1至9中任一项所述的装置，其中所述至少一个存储器和所述指令还被配置为引起所述装置至少：

基于所述第一三维环境中所述第一终端端点设备的所述第一估计姿态，将三维虚拟网络信息投影到所述捕获图像上，以及

通过将所述三维虚拟网络信息与所述捕获图像叠加来生成增强现实输出图像。