[发明专利]一种基于直线分割的表格图像配准方法

权利要求书

1.一种基于直线分割的表格图像配准方法，其特征在于，包括直线分割网络LSN和基于LSN分割结果的图像配准两部分，具体内容如下：

（1）直线分割网络，包括LSN的平均池化部分和LSN的注意力机制部分两部分；将包含表格的原始图像输入直线分割网络；

所述LSN的平均池化部分，在Unet下采样的每一层中，加入基于横竖向的平均池化模块，融合更多细节上的语义信息；其中，在Unet主干中提取特征，Unet每一层采用2个尺寸为3*3的卷积核；在每个平均池化模块中，对Unet特征进行尺寸为1*5的横向平均池化，以及尺寸为5*1的竖向平均池化，池化过程不改变特征图的大小，并将池化后的特征与Unet特征进行融合；平均池化模块的公式表达如公式 2所示：

公式2：;

其中，将横向和竖向平均池化后的特征执行元素求和运算，然后将求和运算后的特征输入卷积层以生成新的特征；将Unet中下采样对应层的特征图输入到卷积层以生成新特征； 最后，将P乘以一个标量参数；并将乘积结果和特征Z进行元素求和运算，从而得到最终的输出，其中，用于表示特征尺寸；

所述LSN的注意力机制部分，在注意力模块中，针对下采样最后一层的Unet特征进行尺寸为1*5的横向平均池化获得横向池化特征H′，以及尺寸为5*1的竖向平均池化获得竖向池化特征V，池化过程不改变特征图的大小；将横竖向的池化特征送入到空间的注意力运算；在空间注意力运算中，将横向池化特征和竖向池化特征作为模块的输入，计算出空间注意力矩阵；然后利用Unet特征图与注意力矩阵计算出最终的基于空间注意力的特征图：

对通过直线分割网络分割出图像的横竖线利用图像腐蚀膨胀，进一步减少分割误差，并达到连通线段的效果；

（2）基于LSN分割结果的图像配准

基于LSN的横竖线分割结果，找到横竖线的交点并确定4个顶点，即找到待配准图片的4个顶点，最终和参考图片中预设好的4个顶点位置一一对应，形成四对对应点，然后根据这4对对应点计算其单应性矩阵，最终实现配准；

图像配准，将一个图像移动和变形尽可能地与另一个图像匹配的过程；其中，对图像进行移动和变形是通过单应性矩阵完成的，所以求出单应性矩阵的值，就能将图像进行正确的移动和变形；如公式 5所示，单应性矩阵H″有8个自由度；公式 6和公式 7描述了利用对应点的坐标位置计算单应性矩阵的过程，因为单应性矩阵有8个自由度，所以至少需要4对对应点才能计算出单应性矩阵

公式 5：；

公式 6：；

公式 7：；

其中，、、、……、是单应性矩阵中的值，和分别是待配准图像和参考图像中的对应点的坐标位置。