[发明专利]图片中文字的结构化信息生成方法、装置、设备及介质

说明书

本发明公开了一种图片中文字的结构化信息生成方法、装置、设备及介质，该方法包括：将待处理图片传输到检测模型，生成多个包含文字的子图片，并基于识别模型，将多个子图片构造为图结构，其中一个子图片对应图结构中的一个图节点；根据识别模型，生成图结构中每个图节点的特征向量，并将图结构中所有图节点的特征向量生成为图结构的特征矩阵；根据图卷积神经网络，对特征矩阵和图结构的邻接矩阵进行处理，生成待处理图片中文字的结构化信息。本发明通过将包含文字的子图片构建为图结构，由图卷积神经网络模型来对图结构的特征矩阵和邻接矩阵进行处理，得到待处理图片中文件的结构化信息，确保了所生成结构化信息的准确性。

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及一种图片中文字的结构化信息生成方法、装置、设备及介质。

背景技术

随着金融科技(Fintech)，尤其是互联网科技金融的不断发展，越来越多的技术(如人工智能、大数据、云存储、图片中文字的结构化信息生成等)应用在金融领域，但金融领域也对各类技术提出了更高的要求，如要求准确识别证件图片中的文字，形成结构化信息等。

当前证件图片的结构化常常采用一系列规则来处理实现，并且不同类型的结构化任务需要制定不同的规则集，而规则集中的一系列规则具有琐碎而繁杂的特性，在制定过程中容易因琐碎繁杂而遗漏，如此一来，导致了经规则处理得到的证件图片中文字的结构化信息不准确。

发明内容

本发明的主要目的在于提供一种图片中文字的结构化信息生成方法、装置、设备及介质，旨在解决现有技术中由一系列规则处理所得到的证件图片中文字的结构化信息不准确的技术问题。

为实现上述目的，本发明提供一种图片中文字的结构化信息生成方法，所述图片中文字的结构化信息生成方法包括以下步骤：

将待处理图片传输到检测模型，生成多个包含文字的子图片，并基于识别模型，将多个所述子图片构造为图结构，其中一个子图片对应所述图结构中的一个图节点；

根据所述识别模型，生成所述图结构中每个图节点的特征向量，并将所述图结构中所有图节点的特征向量生成为所述图结构的特征矩阵；

根据图卷积神经网络，对所述特征矩阵和所述图结构的邻接矩阵进行处理，生成所述待处理图片中文字的结构化信息。

可选地，所述基于识别模型，将多个所述子图片构造为图结构的步骤包括：

基于所述识别模型对每个所述子图片的位置坐标进行计算，获得每个所述子图片的中心点，并针对每个所述子图片执行以下步骤：

计算所述子图片的中心点分别与其他子图片的中心点之间的距离；

根据各所述距离之间的大小关系，从其他子图片中确定出与所述子图片具有邻近关系的目标子图片；

在确定出与各个所述子图片分别具有邻近关系的目标子图片后，对所有所述目标子图片的中心点进行连接，形成所述图结构。

可选地，所述根据图卷积神经网络，对所述特征矩阵和所述图结构的邻接矩阵进行处理，生成所述待处理图片中文字的结构化信息的步骤包括：

根据所述图结构中各图节点之间的邻近关系，确定所述图结构的邻接矩阵，以及所述邻接矩阵中各矩阵行的邻近权重；

调用图卷积神经网络，对所述特征矩阵和所述邻接矩阵基于所述邻近权重进行卷积处理，生成所述图结构的结果表示矩阵；

根据所述结果表示矩阵，生成所述待处理图片中文字的结构化信息。

可选地，所述对所述特征矩阵和所述邻接矩阵基于所述邻近权重进行卷积处理，生成所述图结构的结果表示矩阵的步骤包括：

根据所述邻近权重，对所述特征矩阵和所述邻接矩阵进行权重运算，生成中间矩阵；