[发明专利]一种文档图像实例分割方法及装置

权利要求书

1.一种文档图像实例分割方法，其特征在于，包括以下步骤：

步骤1：将原始图像输入到全卷积神经网络中，所述原始图像上包括n个类别的实例对象，n1，且所述n个类别包括线条、图章、图形、打印文本和/或手写文本；

步骤2：输出原始图像的文字方向分数图、n个类别的实例对象所有分数图及所对应的像素链接图；

步骤3：根据n个类别的实例对象所有分数图和像素链接图分割出n个类别的实例对象所有区域轮廓，并对实例对象进行描述；以及

步骤4：输出n个类别的实例对象分割结果，包括实例对象的类别和位置，

其中，所述步骤3具体包括：

步骤31：针对第i类实例对象的实例对象分数图设定第一阈值，针对像素链接图设定第二阈值，i为整数且1≤i≤n；

步骤32：根据第一阈值和第二阈值对第i类实例对象的实例对象分数图以及像素链接图进行二值化处理，在第i类实例对象的实例对象分数图中得到实例对象像素点和背景像素点，在像素链接图中得到链接状态信息和非链接状态信息；

步骤33：根据实例对象像素点结合链接状态信息，得到第i类实例对象的像素点区域，用连通域表示像素点区域的轮廓，并对第i类实例对象的像素点区域进行描述，

其中，第一阈值取值范围为[0,1]，且第二阈值取值范围为[0,1]。

2.根据权利要求1所述的实例分割方法，其特征在于，所述步骤2具体包括：

步骤21：通过全卷积神经网络的卷积层对原始图像进行特征提取；

步骤22：对原始图像进行上采样，并融合步骤21的结果形成特征图；

步骤23：根据分割需求，输出文字方向分数图、n个类别的实例对象所有分数图以及像素链接图。

3.根据权利要求2所述的实例分割方法，其特征在于，所述文字方向分数图中，文字方向归一化在[0,1]，对应[0,2π]的角度。

4.根据权利要求2所述的实例分割方法，其特征在于，所述n个类别的实例对象所有分数图的输出值经过归一化指数函数处理，取值范围为[0,1]。

5.根据权利要求2所述的实例分割方法，其特征在于，所述像素链接图取特征图中每个像素紧邻方向的链接信息，每个方向上2个分数图，对应正链接和负链接，输出值经过归一化指数函数处理，取值范围为[0,1]。

6.一种文档图像实例分割装置，其特征在于，包括以下部件：

原始图像输入部件，用于将原始图像输入到全卷积神经网络中，所述原始图像上包括n个类别的实例，n1，且所述n个类别包括线条、图章、图形、打印文本和/或手写文本；

分数图输出部件，用于输出原始图像的文字方向分数图、n个类别的实例对象所有分数图及所对应的像素链接图；

实例分割部件，用于根据n个类别的实例对象所有分数图和像素链接图分割出n个类别的实例对象所有区域轮廓，并对实例对象进行描述；以及

分割结果输出部件，用于输出实例对象分割结果，包括实例对象的类别和位置，

其中，所述实例分割部件具体操作如下：

针对第i类实例对象的实例对象分数图设定第一阈值，针对像素链接图设定第二阈值，i为整数且1≤i≤n；

根据第一阈值和第二阈值对第i类实例对象的实例对象分数图以及像素链接图进行二值化处理，在第i类实例对象的实例对象分数图中得到实例对象像素点和背景像素点，在像素链接图中得到链接状态信息和非链接状态信息；

根据实例对象像素点结合链接状态信息，得到第i类实例对象的像素点区域，用连通域表示像素点区域的轮廓，并对第i类实例对象的像素点区域进行描述，

其中，第一阈值取值范围为[0,1]，且第二阈值取值范围为[0,1]。

7.一种文档图像的实例分割系统，其特征在于，所述系统包括：

处理器和用于存储可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令，以执行如权利要求1至5中任一项所述的文档图像实例分割方法。

8.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的文档图像实例分割方法。