[发明专利]基于多模态的扫描件段落结构还原方法、装置及相关设备

摘要

本发明实施例公开了基于多模态的扫描件段落结构还原方法、装置及相关设备，通过预训练的OCR模型对文本扫描数据进行识别；将不含文本内容的文本框剔除，并按文本框所在的坐标位置依次排列，对每一文本框进行标注；根据每一坐标位置取出对应的文本框所在的图片区域；通过序列分类模型对文本内容和图像数据进行编码融合处理，并预测得到每个文本框的分类结果；根据分类结果进行段落重组；通过将OCR识别的文本框组合成文本框序列，并对文本框序列进行标注，同时融入对应文本框取出的图像数据，采用序列标注任务的方式，通过注意力融合和循环神经网络预测得到序列中每一文本框对应的标注概率，随后解码并进行重组，可以得到具有正确含义的段落结构。