[发明专利]一种时延误差校正方法、终端设备、服务器及存储介质

说明书

本发明实施例涉及增强现实领域，公开了一种时延误差校正方法、终端设备、服务器及存储介质。本发明实施方式中，将视频数据包发送给服务器，供服务器根据视频数据包确定待叠加的虚拟对象的位姿数据；接收服务器返回的虚拟对象的位姿数据；根据位姿数据对应的视频帧与当前待显示的视频帧之间的时间差，确定位姿数据的增量变化，并根据增量变化对位姿数据进行校正；根据校正后的位姿数据将虚拟对象叠加在当前待显示的视频帧中，在不增加终端性能消耗的基础上，解决因时延带来的虚拟和现实不同步问题，提高用户体验。

技术领域

本发明实施例涉及增强现实领域，特别涉及一种时延误差校正方法、终端设备、服务器以及存储介质。

背景技术

增强现实(Augmented Reality，简称AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。随着SLAM(同时定位和建图)技术的发展，增强现实在教育、游戏、工业等方面得到了越来越广泛的应用。

AR对设备的硬件性能、设计都有很高的要求。当前主流的AR处理引擎，譬如谷歌的ARCore、苹果的ARKit，都将其支持的终端平台限制在了少数几款高配置机型。根据我们对主流AR引擎的体验结果，即使使用符合条件的高配手机终端，运行AR业务的效果也不太理想。突出的问题是高负荷的终端发热明显，由发热引起降频，导致性能下降，AR体验的效果变差。

为了解决终端性能影响AR业务较长时间的体验效果的问题，目前的一种解决方案就是借助云端的运算能力来处理耗时的AR过程，将重计算量的特征提取匹配跟踪等AR处理放在服务器上做。

发明人发现相关技术中至少存在如下问题：采用借助云端的方案对于实时性要求高的AR应用场景，会因为从终端向服务器发送请求到接收到服务器返回的位姿信息，这之间存在一定的时延，时延包括服务器的解包解码时长、AR处理时长、网络传输时长，这时终端看到的现实世界场景已经距发送请求时发生了一定的变化，在当前帧上根据服务器返回的位姿信息来叠加虚拟物体便会产生误差，导致虚拟和现实不同步，严重影响用户体验。

发明内容

本发明实施方式的目的在于提供一种时延误差校正方法、终端设备、服务器及存储介质，使得在不增加终端性能消耗的基础上消除因时延带来的虚拟和现实不同步的问题，提升用户体验。

为解决上述技术问题，本发明的实施方式提供了一种时延误差校正方法，包括：将视频数据包发送给服务器，供服务器根据视频数据包确定待叠加的虚拟对象的位姿数据；接收服务器返回的虚拟对象的位姿数据；根据位姿数据对应的视频帧与当前待显示的视频帧之间的时间差，确定位姿数据的增量变化，并根据增量变化对位姿数据进行校正；根据校正后的位姿数据将虚拟对象叠加在当前待显示的视频帧中。

本发明的实施方式还提供了一种时延误差校正方法，包括：接收终端设备发送的视频数据包；根据视频数据包确定待叠加的虚拟对象的位姿数据；将位姿数据返回给终端设备，供终端设备在对位姿数据进行校正后，根据校正后的位姿数据将虚拟对象叠加在当前待显示的视频帧中。

本发明的实施方式还提供了一种终端设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述时延误差校正方法。

本发明的实施方式还提供了一种服务器，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述时延误差校正方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述应用于终端的时延误差校正方法；或者，实现上述应用于服务器的时延误差校正方法。