[发明专利]具有隐私保护的表格类信息抽取系统及方法

权利要求书

1.一种具有隐私保护的表格类信息抽取系统，其特征在于，包括：位于本地端的节点单元特征收集模块、用户隐私敏感脱敏模块和神经网络采集模块以及位于云服务端的图神经网络模块，其中：节点单元特征收集模块根据用户输入待识别的图片，通过部署在本地端的文字识别模型和文字定位模型识别出节点得到节点的文字段以及坐标特征，用户隐私敏感脱敏模块利用自注意力机制，通过坐标空间转换文字空间转换将每个节点的文字、坐标信息进行变换并得到原语义在不同维度下的向量，神经网络采集模块将待识别图像通过卷积神经网络的卷积操作提取出图像特征，图神经网络模块根据节点连接关系节点特征，使用图卷积神经网络理解学习节点的位置特征以及邻接关系，最终得到节点连接关系，通过节点单元特征收集模块得到的节点文字、坐标信息以及云服务端返回的节点连接关系，提取出整个图片信息并恢复出整个表格。

2.根据权利要求1所述的具有隐私保护的表格类信息抽取系统，其特征是，所述的节点单元特征收集模块采用本地识别的模式，通过文字定位模型进行文字定位获取一行文字的空间坐标信息；文字识别模型通过文字识别获取单元格的原文信息段，每行文本信息即一个节点，当一个单元格内出现跨行文本则为多个节点。

3.根据权利要求1所述的具有隐私保护的表格类信息抽取系统，其特征是，所述的坐标空间转换是指：X·M＝X′，其中：原坐标X＝[x1，y1，x2，y2，x3，y3，x，y]，(x1，y1)为节点左上角坐标，(x2，y2)为节点右下角坐标，(x3，y3)为节点中心点坐标，x，y为节点框的长宽，M为注意力机制中的参数deg(M)＝1，对于坐标向量则保持其转换后的欧式距离不变。

4.根据权利要求1所述的具有隐私保护的表格类信息抽取系统，其特征是，所述的自注意力机制其中：self-attention Q、K、V都是输入向量坐标X，dk为Q、K的维度。

5.根据权利要求1所述的具有隐私保护的表格类信息抽取系统，其特征是，所述的文字空间转换是指：对于文字信息，首先节点的文字信息通过词嵌入，再利用具有注意力机制的seq2seq网络，将原始中英文文字信息映射到高维向量维度，同时保留语义关系，其中具有注意力机制的seq2seq网络为输入经过词嵌入后，传入LSTM层，增加向量的输出维度，LSTM在每一个时间点上输出隐藏状态hidden state；具有注意力机制的seq2seq网络的解码器的输入为传入的词向量以及attention的上一个时刻输出状态的融合，将编码器输出的隐藏状态与解码器的输入做attention运算得到Attention输出即为转换后的文字向量。

6.根据权利要求1所述的具有隐私保护的表格类信息抽取系统，其特征是，所述的图神经网络模块使用图卷积神经网络理解学习节点的位置特征以及邻接关系，使用LSTM处理节点文字信息经过具有注意力机制的seq2seq网络后的输出，将图卷积网络、LSTM、卷积神经网络的输出特征通过全连接层的输出后进行融合，最后通过多层感知机进行分类输出节点的边连接关系。