[发明专利]两阶段安全多方计算的图片文本定位识别方法

权利要求书

1.一种两阶段安全多方计算的隐私保护图片文本定位识别方法，其特征在于，包括：

1)用户基于安全多方计算中的函数秘密分享协议，通过其中的秘密函数加密图片中的每个像素的信息，将加密后的图片信息传输到云端服务器；

2)云端服务器基于训练好的单字文字定位模型对图片信息进行特征提取，得到三个层次的加密的图片单字定位特征图，并将加密的图片单字定位特征图传输回用户端；

3)用户在本地利用秘密函数对加密的图片单字定位特征图解密，再利用渐进拓展算法从解密特征图中得到单字文本的像素点位置，计算单字区域最小包围矩形得到单字文本框坐标；

4)用户通过对单字文本框坐标的空间距离筛选出同一文本行中顺序排列的单字，然后将顺序排列的单字利用秘密函数按顺序通过秘密函数加密后分别传输到云端服务器；

5)云端服务器基于训练好的单字识别模型对加密后的单字图片进行单字识别，得到单字识别结果并传输回用户端；

6)用户在本地利用秘密函数对单字识别结果解密，并按顺序排列解密结果即得到文字识别结果；

所述的秘密函数，根据提供服务器的数量将此秘密函数分割成用户加服务器数量的秘密份额f₁-f_n，该秘密份额函数作为密钥的一部分，仅当获得全部秘密份额时才能还原原文的输入，利用全部秘密份额能够在不暴露明文的情况下对明文进行计算；

所述的特征提取，具体步骤包括：

①输入图片的尺寸为(N，C，H，W)，其中N为训练用的batchsize，C为图片通道数，一般为3，H，W是图片的高和宽；在获得输入图片之后，特征网络的四个卷积层由低到高提取出图片四个特征C₂，C₃，C₄，C₅，尺寸大小分别对应原始图片下采样的4，8，16，32倍，获得各种特征输出后利用两倍上采样使特征图尺寸一致后使用加操作依次进行融合特征操作，P₅特征层通过C₅卷积改变通道数得到；C₄和P₅融合得到P₄，即P₄＝Up(P₅)+C₄；F₄和C₃融合得到P₃，即P₃＝Up(P₄)+C₃，P₃和C₂融合得到P₂，即F₂＝Up(P₃)+C₂；最后将这三层融合后的特征再次上采样融合得到输出的单字外轮廓、内轮廓与单字中心三个层次的特征F_char1，F_char2和F_char3，即加密的图片单字定位特征图(F_char1，F_char2，F_char3)＝(P₂+Up(P₃)+Up(Up(P₄))+Up(Up(Up(P₅))))；输出特征图尺寸为(3，H/4，W/4)；特征图矩阵每个位置的值为此像素为单字的概率；

②得到图片特征图后首先采取线性双插值的上采样算法将特征图尺寸扩大四倍到图片原尺寸，第一张外轮廓特征图为单字最小外接矩形的对应区域，第二张内轮廓特征图为单字最小外接矩形缩小0.7倍的对应区域，第三张单字中心特征图为单字最小外接矩形缩小0.5倍的对应区域，用来确定文字中心；将这些特征图中每一个值通过sigmoid函数映射到0-1，映射后的值为此像素点为相应特征的概率，概率超过阈值的像素点被认为是相应的特征，取值为1，低于阈值的像素点取值为0，至此可以得到三张与原图尺寸相同的0-1二值图，分别对应相应单字外轮廓、内轮廓与单字中心的像素点；将确定的单字中心的连通区域利用宽度优先搜索BFS拓展到内轮廓的边界，随后将得到的内轮廓边界搜索并拓展到外轮廓边界；此时外轮廓中所有的像素点即为文字的区域，此连通区域的最小外接矩形即为单字的定位框。