[发明专利]基于终端设备定位的图像处理方法、装置、设备和介质

说明书

本申请提供一种基于终端设备定位的图像处理方法、装置、设备和介质，其中，该方法，包括：将获取到的第一个图像帧发送给云端服务器，以使云端服务器对第一个图像帧进行视觉定位处理；对相邻的图像帧进行坐标变换处理，得到相邻的图像帧之间的坐标变换信息；在接收云端服务器发送的第一个图像帧中的特征点的三维坐标信息时，根据各坐标变换信息和第一个图像帧，确定第N个图像帧的二维坐标信息，二维坐标信息为第一个图像帧中的特征点在N个图像帧上的二维坐标；根据第N个图像帧的二维坐标信息和特征点的三维坐标信息，确定第N个图像帧在世界坐标系下的位姿信息。准确的得到第N帧图像帧的位姿信息。

技术领域

本申请实施例涉及终端技术领域，尤其涉及一种基于终端设备定位的图像处理方法、装置、设备和介质。

背景技术

随着图像技术的发展，图像技术应用到各个领域中。可以将图像领域应用于终端设备的定位中；终端设备获取图像，对图像进行分析，得到图像分析结果，进而，终端设备依据图像分析结果，完成终端设备的定位。

现有技术中，在终端设备对图像进行分析的时候，终端设备将实时获取到的初始的第一帧图像帧发给云端服务器；云端服务器对第一帧图像帧进行图像分析，得到并返回视觉定位结果，其中，视觉定位结果中包括第一帧图像帧的位姿信息；终端设备对第一帧图像帧和实时获取的当前图像帧进行分析，进而将第一帧图像帧的特征点投影到实时获取的当前图像帧上；然后，终端设备再去根据第一帧图像帧的视觉定位结果，对被投影之后的当前图像帧进行分析，得到当前图像帧在世界坐标系下的位姿信息。

然而现有技术中，终端设备在接收到的第一帧图像帧的视觉定位结果时，由于云端服务器的图像分析时间较长、网络延迟等原因，终端设备此时已经获取到第N帧图像帧了，第一帧图像帧与第N帧图像帧之间的图像内容已经存在了较大差异了；终端设备直接依据第一帧图像帧的视觉定位结果，对当前的第N帧图像帧进行分析，得到的当前的第N帧图像帧的位姿信息并不准确，进而，无法实时的对图像帧的位姿进行分析，实时的得到的图像帧的位姿并不准确。

发明内容

本申请实施例提供一种基于终端设备定位的图像处理方法、装置、设备和介质，用于解决现有技术中的问题。

本申请第一方面提供一种基于终端设备定位的图像处理方法，所述方法，包括：

将获取到的第一个图像帧，发送给云端服务器，以使云端服务器对所述第一个图像帧进行视觉定位处理；

对实时获取到的相邻的图像帧进行坐标变换处理，得到相邻的图像帧之间的坐标变换信息；

在接收所述云端服务器发送的第一个图像帧的视觉定位信息时，其中，所述视觉定位信息中包括第一个图像帧中的特征点的三维坐标信息，根据各所述相邻的图像帧之间的坐标变换信息、以及所述第一个图像帧，确定当前实时获取到的第N个图像帧的二维坐标信息，其中，所述二维坐标信息为所述第一个图像帧中的特征点在所述N个图像帧上的二维坐标，N为大于1的正整数；

根据第N个图像帧的二维坐标信息和所述特征点的三维坐标信息，确定第N个图像帧的位姿信息，其中，所述位姿信息为所述第N个图像帧在世界坐标系下的位姿信息。

进一步地，所述坐标变换信息为单应性变换信息，其中，所述单应性变换信息用于表征相邻的图像帧之间坐标变换关系。

进一步地，对实时获取到的相邻的图像帧进行坐标变换处理，得到相邻的图像帧之间的坐标变换信息，包括：

计算第i个图像帧与第i+1个图像帧之间的单应性变换矩阵，得到第i个图像帧与第i+1个图像帧之间的单应性变换信息，其中，i∈[1，N-1]，i为正整数。

进一步地，根据各所述相邻的图像帧之间的坐标变换信息、以及所述第一个图像帧，确定当前实时获取到的第N个图像帧的二维坐标信息，包括：

对各所述相邻的图像帧之间的坐标变换信息进行级联处理，得到级联后的坐标变换信息；