[发明专利]地理与视觉跨模态预训练模型的训练方法、定位调整方法

权利要求书

1.一种地理与视觉跨模态预训练模型的训练方法，包括：

基于地图数据构建预训练数据集，其中，所述地图数据为高精地图数据；

根据所述预训练数据集，对待训练模型进行模型训练，得到用于建立地理与视觉关系的第一预训练模型；其中，所述第一预训练模型用于根据众包数据得到目标数据，所述众包数据包括第一图像信息及与所述第一图像信息对应的第一地理位置信息，所述目标数据包括所述第一图像信息中各个图像块对应的地理位置编码；

其中，基于所述地图数据构建所述预训练数据集，包括：

对从所述地图数据中筛选出的第三图像信息进行图像预处理，得到与众包数据分辨率相同的第四图像信息；

对与所述第三图像信息对应的第三地理位置信息进行编码预处理，得到第四图像位置编码信息；

对所述第四图像信息进行划分预处理，得到所述第四图像信息中各个图像块；

对所述第四图像信息中各个图像块进行编码预处理，得到所述第四图像信息中各个图像块位置编码信息；以及

根据所述第四图像信息、所述第四图像位置编码信息和所述第四图像信息中各个图像块位置编码信息，构建所述预训练数据集；

其中，所述第四图像信息和所述第四图像位置编码信息为所述待训练模型的输入，所述第四图像信息中各个图像块位置编码信息为所述模型训练的预训练目标。

2.根据权利要求1所述的方法，其中，所述基于地图数据构建预训练数据集，包括：

所述地图数据为历史地图数据的情况下，从所述历史地图数据中筛选出满足第一条件的所述第三图像信息及与所述第三图像信息对应的所述第三地理位置信息。

3.根据权利要求2所述的方法，其中，所述第一条件包括：在历史采集次数超过N次的覆盖区域所得到的所述历史地图数据中携带深度图信息；所述N为大于2的正整数。

4.根据权利要求1-3中任一项所述的方法，其中，所述根据所述预训练数据集，对待训练模型进行模型训练，得到用于建立地理与视觉关系的第一预训练模型，包括：

将所述第四图像信息和所述第四图像位置编码信息输入所述待训练模型，对所述第四图像信息和所述第四图像位置编码信息进行图像特征和所述地理位置编码特征的融合处理，得到融合数据；

对所述融合数据进行特征提取，得到目标特征；

对所述目标特征进行分类，得到分类标签；

根据所述分类标签与所述预训练目标进行损失运算，得损失函数；

根据所述损失函数对所述待训练模型进行模型训练，得到所述第一预训练模型。

5.一种定位调整方法，包括：

根据获取的所述众包数据和根据权利要求1-4中任一项所述的方法得到的用于建立地理与视觉关系的所述第一预训练模型，得到所述目标数据；

根据所述目标数据对所述众包数据的定位精度进行调整，得到与所述地图数据定位精度相匹配的数据。

6.根据权利要求5所述的方法，其中，所述根据获取的众包数据和用于建立地理与视觉关系的第一预训练模型，得到目标数据，包括：

从所述众包数据中提取第一图像信息及与所述第一图像信息对应的第一地理位置信息；

将所述第一图像信息及所述第一地理位置信息输入所述第一预训练模型，在地图数据坐标系中建立所述第一图像信息与所述第一地理位置信息之间的映射关系；

根据所述第一预训练模型所建立的所述映射关系，对所述第一图像信息中各个图像块对应的地理位置信息进行预测，输出所预测的第二地理位置信息及包括所述第一图像信息中的各个图像块的第二图像信息，其中，所述第二地理位置信息包括所述第一图像信息中各个图像块对应的地理位置编码；

将所述第二地理位置信息及所述第二图像信息作为所述目标数据。

7.根据权利要求6所述的方法，还包括：

对所述第一地理位置信息进行编码，得到第一图像位置编码信息。

8.根据权利要求7所述的方法，还包括：

对所述第一图像信息进行图像块划分，得到所述第一图像信息中所述各个图像块。