[发明专利]提取地理位置点空间关系的方法、训练提取模型的方法及装置

权利要求书

1.一种训练地理位置点空间关系提取模型的方法，包括：

获取第一训练数据，所述第一训练数据包括文本以及对文本中的地理位置点和/或地理位置点空间关系信息的标注；

利用所述第一训练数据训练预训练模型，所述预训练模型包括嵌入层、Transformer层，还包括掩码预测任务层、空间关系预测任务层和地理位置点预测任务层中的至少一种；所述掩码预测任务层，用于基于所述Transformer层输出的隐向量，预测所述第一训练数据的文本中掩码部分的内容，训练目标为预测结果符合掩码部分对应实际内容；所述空间关系预测任务层，用于基于所述Transformer层输出的隐向量，预测所述第一训练数据的文本描述的空间关系，训练目标为预测结果符合对应空间关系标注；所述地理位置点预测任务层，用于基于所述Transformer层输出的隐向量，预测所述第一训练数据的文本包含的地理位置点，训练目标为预测结果符合对应地理位置点标注；

获取第二训练数据，所述第二训练数据包括：文本以及对文本中地理位置点、地理位置点空间关系信息的标注，所述第二训练数据的标注质量高于所述第一训练数据的标注质量；

利用所述第二训练数据训练地理位置点空间关系提取模型，所述地理位置点空间关系提取模型包括训练所述预训练模型得到的所述嵌入层和Transformer层，还包括映射层；

其中，训练得到的地理位置点空间关系提取模型用于从输入的互联网文本中提取地理位置点空间关系信息。

2.根据权利要求1所述的方法，其中，所述嵌入层包括：用于对文本中各Token进行字符编码的第一嵌入层、用于对各Token进行位置编码的第二嵌入层、用于对各Token所属语句标识进行编码的第三嵌入层；

所述映射层包括条件随机场CRF，用于利用所述Transformer层输出的隐向量，预测所述文本包含的空间关系的信息。

3.根据权利要求1所述的方法，其中，所述地理位置点空间关系提取模型的训练目标包括：所述映射层对所述文本的标签预测符合所述第二训练数据中的标注。

4.根据权利要求1至3中任一项所述的方法，其中，所述嵌入层还包括：用于对输入文本所用于的任务层标识进行编码的第四嵌入层。

5.根据权利要求1所述的方法，其中，所述掩码预测任务层、空间关系预测任务层和地理位置点预测任务层中的至少一种交替训练或同时训练，利用被训练的任务层的训练目标对应的损失函数，优化所述嵌入层、Transformer层和被训练的任务层的模型参数。

6.根据权利要求1所述的方法，其中，在利用所述第二训练数据训练地理位置点空间提取模型时，基于所述预训练模型训练得到的所述嵌入层和所述Transformer层包括：

在利用所述第二训练数据训练地理位置点空间提取模型时，采用与所述 训练模型训练得到的所述嵌入层和所述Transformer层的模型参数并保持不变，优化所述映射层的模型参数，直至达到所述地理位置点空间提取模型的训练目标。

7.一种提取地理位置点空间关系的方法，包括：

从互联网获取包含地理位置点信息的文本；

将所述文本输入预先训练得到的地理位置点空间关系提取模型，获取所述地理位置点空间关系提取模型输出的空间关系的信息；其中所述地理位置空间关系提取模型采用如权利要求1至6中任一项所述的方法预先训练得到。

8.根据权利要求7所述的方法，其中，所述嵌入层包括：用于对文本中各Token进行字符编码的第一嵌入层、用于对各Token进行位置编码的第二嵌入层、用于对各Token所属语句标识进行编码的第三嵌入层；

所述映射层包括条件随机场CRF，用于利用所述Transformer层输出的隐向量，预测所述文本包含的空间关系的信息。

9.根据权利要求7或8所述的方法，其中，所述空间关系的信息包括：空间关系的类型和取值。