[发明专利]基于语义分割的表格重建方法、装置、设备及存储介质

权利要求书

1.一种基于语义分割的表格重建方法，其特征在于，包括：

获取待重建图像，所述待重建图像中存在待重建表格；

对所述待重建图像进行语义分割，得到多个掩码图，其中，所述多个掩码图与多个预设分割类别一一对应，所述多个掩码图中的每个掩码图用于表示所述待重建图像中的各个像素点属于与所述每个掩码图对应的预设分割类别的概率；

根据所述多个掩码图构建待重建表格；

从所述待重建图像中提取与所述待重建表格对应的文字内容；

将所述文字内容填入所述待重建表格，得到重建好的表格。

2.根据权利要求1所述的方法，其特征在于，所述对所述待重建图像进行语义分割，得到多个掩码图，包括：

对所述待重建图像进行特征提取，得到多个第一特征图；

对所述多个第一特征图进行卷积处理，得到多个第一语义分割结果，其中，所述多个第一语义分割结果与所述多个预设分割类别一一对应；

将所述待重建图像中每个像素点分别在所述多个第一语义分割结果中的取值进行sigmoid激活处理，得到所述多个掩码图，其中，所述多个第一语义分割结果与所述多个掩码图一一对应。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述多个掩码图构建待重建表格，包括：

对所述多个掩码图中的每个掩码图进行二值化处理，得到多个二值图；

针对所述多个二值图中的每个二值图，确定所述每个二值图中的目标像素点组成的M个连通域，其中，所述目标像素点为所述每个二值图像素值为1的像素点；

将所述每个二值图中的M个连通域中的每个连通域进行直线拟合，得到与所述每个二值图对应的N条第一直线段；

对所述每个连通域对应的第一直线段进行合并，得到与所述每个二值图对应的目标直线段；

根据所述多个二值图中的每个二值图对应的目标直线段，构建待重建表格。

4.根据权利要求3所述的方法，其特征在于，所述将所述每个二值图中的M个连通域中的每个连通域进行直线拟合，得到与所述每个连通域对应的第一直线段，包括：

对所述每个二值图中的M个连通域中的每个连通域进行直线拟合，得到M条第二直线段，其中，所述M条第二直线段与所述M个连通域一一对应；

确定所述M条第二直线段中的每条第二直线段在图像坐标下与X轴的夹角，所述X轴为图像坐标系下的X轴；

根据所述M条第二直线段中的每条第二直线段与X轴的夹角，从所述M条第二直线段中选取K条第二直线段，其中，所述K条第二直线段中的每条第二直线段与所述X轴的夹角小于与所述每个二值图对应的预设分割类别对应的第一阈值或者大于第二阈值，K小于或等于M；

确定所述K条第二直线段与所述X轴的夹角的均值和标准差，并确定所述K条第二直线段中的每条第二直线段与所述X轴的夹角与所述均值之间的差值；

根据所述K条第二直线段中的每条第二直线段对应的差值，以及目标阈值，从所述K条第二直线段中选取出N条第二直线段，并将所述N条第二直线段作为与所述每个连通域对应的N条第一直线段，其中，所述N条第二直线段中的每条第二直线段对应的差值小于所述目标阈值，所述目标阈值是根据所述标准差确定的，其中，N小于或等于M。

5.根据权利要求3或4所述的方法，其特征在于，所述对所述每个连通域对应的N条第一直线段进行合并，得到与所述每个连通域对应的目标直线段，包括：

获取所述N条第一直线段中相邻两条第一直线段之间的夹角，以及所述相邻两条第一直线段之间的目标距离，所述目标距离为所述相邻两条第一直线段中一条第一直线段的目标端点到另外一条第一直线段的距离，所述目标端点为所述一条第一直线段的两个端点中距离所述另外一条第一直线距离最近的端点；

在所述相邻两条第一直线段之间的夹角小于第三阈值，且所述目标距离小于第四阈值的情况下，将所述相邻两条第一直线段中距离最远的两个端点进行连接，以将所述相邻两条第一直线段合并为一条直线段；

将所述N条第一直线段中合并得到的直线段，以及未合并的第一直线段作为所述每个二值图对应的目标直线段。