[发明专利]布局表示网络的预训练方法、装置、电子设备和存储介质

权利要求书

1.一种布局表示网络的预训练方法，其中，所述方法包括：

获取至少一个原始文档中多个元素各自的第一空间位置向量，以及所述原始文档对应的增强文档中多个所述元素各自的第二空间位置向量；

将多个所述元素各自的第一空间位置向量输入布局表示网络，以获取多个所述元素各自的第一布局特征向量；

将多个所述元素各自的第二空间位置向量输入所述布局表示网络，以获取多个所述元素各自的第二布局特征向量；

根据多个所述元素各自的第一布局特征向量与多个所述元素各自的第二布局特征向量，对所述布局表示网络进行预训练。

2.根据权利要求1所述的方法，其中，所述根据多个所述元素各自的第一布局特征向量与多个所述元素各自的第二布局特征向量，对所述布局表示网络进行预训练，包括：

将多个所述元素各自的第一布局特征向量输入全连接网络，以获取多个所述元素之间的空间关系的第一隐表示；

将多个所述元素各自的第二布局特征向量输入所述全连接网络，以获取多个所述元素之间的空间关系的第二隐表示；

根据所述第一隐表示与所述第二隐表示之间的差异，调整所述布局表示网络和所述全连接网络的模型参数，以对所述布局表示网络进行预训练。

3.根据权利要求1或2所述的方法，其中，所述获取至少一个原始文档中多个元素各自的第一空间位置向量，包括：

获取至少一个所述原始文档中多个所述元素各自的边界框的坐标信息；

基于多个所述元素各自的边界框的坐标信息，生成对应元素的第一空间位置向量。

4.根据权利要求1-3任一项所述的方法，其中，所述方法还包括：

对至少一个所述原始文档进行旋转处理和/或裁剪处理，得到所述原始文档对应的增强文档。

5.一种阅读顺序确定模型的训练方法，其中，所述方法包括：

获取至少一个样本文档中多个元素各自的第三空间位置向量，以及多个所述元素的参考阅读顺序；

将多个所述元素各自的第三空间位置向量输入阅读顺序确定模型中的布局表示网络，以获取多个所述元素各自的第三布局特征向量，所述布局表示网络采用权利要求1-4中任一项所述的方法进行预训练得到；

将多个所述元素各自的第三布局特征向量输入所述阅读顺序确定模型中的指针网络，以从多个所述元素中获取多个所述元素各自对应的下一目标元素；

根据多个所述元素各自对应的下一目标元素，对多个所述元素进行排序，得到多个所述元素的预测阅读顺序，并根据多个所述元素的所述参考阅读顺序与所述预测阅读顺序的差异，对所述阅读顺序确定模型进行训练。

6.根据权利要求5所述的方法，其中，所述将多个所述元素各自的第三布局特征向量输入所述阅读顺序确定模型中的指针网络，以从多个所述元素中获取多个所述元素各自对应的下一目标元素，包括：

将多个所述元素各自的第三布局特征向量输入所述指针网络，以通过匈牙利匹配方式进行匹配，从多个所述元素中获取多个所述元素各自对应的下一目标元素。

7.一种阅读顺序确定方法，其中，所述方法包括：

获取待处理的目标文档中多个元素的第四空间位置向量；

将多个所述元素各自的第四空间位置向量输入阅读顺序确定模型中的布局表示网络，以获取多个所述元素各自的第四布局特征向量；

将多个所述元素各自的第四布局特征向量输入所述阅读顺序确定模型中的指针网络，以从多个所述元素中获取多个所述元素各自对应的下一目标元素；

根据多个所述元素各自对应的下一目标元素，对多个所述元素进行排序，得到多个所述元素的目标阅读顺序。