[发明专利]图片中文字的结构化信息生成方法、装置、设备及介质

权利要求书

1.一种图片中文字的结构化信息生成方法，其特征在于，所述图片中文字的结构化信息生成方法包括以下步骤：

将待处理图片传输到检测模型，生成多个包含文字的子图片，并基于识别模型，将多个所述子图片构造为图结构，其中一个子图片对应所述图结构中的一个图节点；

根据所述识别模型，生成所述图结构中每个图节点的特征向量，并将所述图结构中所有图节点的特征向量生成为所述图结构的特征矩阵；

根据图卷积神经网络，对所述特征矩阵和所述图结构的邻接矩阵进行处理，生成所述待处理图片中文字的结构化信息。

2.如权利要求1所述的图片中文字的结构化信息生成方法，其特征在于，所述基于识别模型，将多个所述子图片构造为图结构的步骤包括：

基于所述识别模型对每个所述子图片的位置坐标进行计算，获得每个所述子图片的中心点，并针对每个所述子图片执行以下步骤：

计算所述子图片的中心点分别与其他子图片的中心点之间的距离；

根据各所述距离之间的大小关系，从其他子图片中确定出与所述子图片具有邻近关系的目标子图片；

在确定出与各个所述子图片分别具有邻近关系的目标子图片后，对所有所述目标子图片的中心点进行连接，形成所述图结构。

3.如权利要求1所述的图片中文字的结构化信息生成方法，其特征在于，所述根据图卷积神经网络，对所述特征矩阵和所述图结构的邻接矩阵进行处理，生成所述待处理图片中文字的结构化信息的步骤包括：

根据所述图结构中各图节点之间的邻近关系，确定所述图结构的邻接矩阵，以及所述邻接矩阵中各矩阵行的邻近权重；

调用图卷积神经网络，对所述特征矩阵和所述邻接矩阵基于所述邻近权重进行卷积处理，生成所述图结构的结果表示矩阵；

根据所述结果表示矩阵，生成所述待处理图片中文字的结构化信息。

4.如权利要求3所述的图片中文字的结构化信息生成方法，其特征在于，所述对所述特征矩阵和所述邻接矩阵基于所述邻近权重进行卷积处理，生成所述图结构的结果表示矩阵的步骤包括：

根据所述邻近权重，对所述特征矩阵和所述邻接矩阵进行权重运算，生成中间矩阵；

根据所述图卷积神经网络的层权重，对所述中间矩阵进行线性降维，生成降维矩阵；

根据所述图卷积神经网络的激活函数，对所述降维矩阵进行非线性处理，生成新的特征矩阵，完成在所述图卷积神经网络中一个网络层的卷积处理；

将新的特征矩阵传输到图卷积神经网络中下一个网络层进行卷积处理，直到完成在图卷积神经网络中各网络层的卷积处理，生成卷积矩阵；

在根据图卷积神经网络的预设函数，确定所述卷积矩阵中每个矩阵行所包含数值中的最大值后，将所述卷积矩阵确定为所述图结构的结果表示矩阵。

5.如权利要求3所述的图片中文字的结构化信息生成方法，其特征在于，所述根据所述结果表示矩阵，生成所述待处理图片中文字的结构化信息的步骤包括：

根据所述结果表示矩阵中每个矩阵行所包含数值中的最大值，预测与各所述图节点对应的要素标签；

获取与各所述图节点分别对应的子图片中的文字信息，并根据各所述要素标签和各所述文字信息，生成标签文字对，以得到所述待处理图片中文字的结构化信息。

6.如权利要求1-5任一项所述的图片中文字的结构化信息生成方法，其特征在于，所述根据所述识别模型，生成所述图结构中每个图节点的特征向量的步骤包括：

根据所述识别模型，对每个所述子图片中的文字进行识别，得到每个所述子图片的文字表示向量；

根据每个所述子图片的文字表示向量，以及每个所述子图片中的文字在所述识别模型中的隐层表示向量，生成所述图结构中每个图节点的特征向量。