[发明专利]表单识别方法、装置、设备及计算机可读存储介质

说明书

本公开提供了一种表单识别方法、装置、设备及计算机可读存储介质，所述方法包括：获取待识别表单中的多个文本块；获取所述多个文本块中每个文本块的目标特征信息；根据所述每个文本块的目标特征信息，确定所述多个文本块中各个文本块之间的键值对关系，所述各个文本块之间的键值对关系包含每个文本块与除所述文本块之外的其他文本块之间的键值对关系；根据所述各个文本块之间的键值对关系，获得所述待识别表单的拓扑结构信息。

技术领域

本公开涉及计算机视觉技术，尤其涉及一种表单识别方法、装置、设备及计算机可读存储介质。

背景技术

表单识别在许多领域具有重要应用，例如票据信息提取、小票信息提取等等。

现有的表单识别方法通常是根据特定规则提取表格的结构信息，然而对于省略了严格表格形式的表格，以及具有相同内容单元格，无法准确地识别表单的结构。

发明内容

本公开实施例提供了一种表单识别方案。

根据本公开的一方面，提供一种表单识别方法，所述方法包括：获取待识别表单中的多个文本块；获取所述多个文本块中每个文本块的目标特征信息；根据所述每个文本块的目标特征信息，确定所述多个文本块中各个文本块之间的键值对关系，所述各个文本块之间的键值对关系包含每个文本块与除所述文本块之外的其他文本块之间的键值对关系；根据所述各个文本块之间的键值对关系，获得所述待识别表单的拓扑结构信息。

结合本公开提供的任一实施方式，根据所述每个文本块的目标特征信息，确定所述多个文本块中各个文本块之间的键值对关系，包括：对于所述多个文本块中的第一文本块，确定所述第一文本块与第二文本块属于键值对的概率，其中，所述第二文本块包括所述多个文本块中除所述第一文本块以外的至少一个其他文本块，所述第一文本块与所述第二文本块属于键值对表示所述第二文本块指示属性，所述第一文本块指示所述属性的值；根据所述概率，确定所述第一文本块与所述第二文本块之间的键值对关系。

结合本公开提供的任一实施方式，所述第二文本块包括第一目标文本块以及第二目标文本块，所述第一文本块与所述第一目标文本块属于键值对的概率，大于所述第一文本块与所述第二目标文本块属于键值对的概率；所述根据所述概率，确定所述第一文本块与所述第二文本块之间的键值对关系，包括：确定所述第一文本块与所述第一目标文本块具有键值对关系。

结合本公开提供的任一实施方式，确定所述第一文本块与第二文本块属于键值对的概率，包括：将所述第一文本块和所述第二文本块的目标特征信息输入至关系预测网络，所述关系预测网络输出所述第一文本块与所述第二文本块属于键值对的概率。

结合本公开提供的任一实施方式，所述方法还包括：通过样本集对所述关系预测网络进行训练，其中，所述样本集包含具有键值对关系的第一文本块样本和第二文本块样本，以及与所述第一文本块样本不具有键值对关系的负样本；其中，所述第二文本块样本具有指示与所述第一文本块样本具有键值对关系的第一标注信息，所述负样本具有指示与所述第一文本块样本不具有键值对关系的第二标注信息。

结合本公开提供的任一实施方式，所述通过样本集对所述关系预测网络进行训练，包括：通过最大化所述第一文本块样本与第二文本块具有键值对关系的概率，以及最小化所述第一文块样本与所述负样本具有键值对关系的概率，对所述关系预测网络的参数进行调整。

结合本公开提供的任一实施方式，所述获取所述文本块的目标特征信息，包括：获取所述文本块的多个模态的特征信息；将所述多个模态的特征信息进行融合，获得所述目标特征信息。

结合本公开提供的任一实施方式，所述多个模态的特征信息包括至少两个模态的文本特征信息；所述将所述多个模态的特征信息进行融合，获得所述目标特征信息，包括：对所述至少两个模态的文本特征信息进行连接，获得目标特征信息。