[发明专利]一种基于贝塞尔曲线的任意畸变图像线段检测方法

权利要求书

1.一种基于贝塞尔曲线的任意畸变图像线段检测方法，实现方式包括以下步骤：

步骤1：构建训练数据集；

步骤2：构建线段检测网络；

步骤2所述线段检测网络包括：线段特征提取骨干网络、线段提议网络、感兴趣线段头部；

所述线段特征提取骨干网络的输入为图像输出为特征图F_a；

所述线段提议网络的输入为特征图F_a，输出为候选线段集合

所述感兴趣线段头部的输入为特征图F_a和候选线段集合输出为线段检测结果；

所述线段特征提取骨干网络采用的是堆叠沙漏网络，包括：卷积层、第一层沙漏模块、第二层沙漏模块；

所述的卷积层、第一层沙漏模块、第二层沙漏模块依次串联级联；

所述线段提议网络包括：交叉点预测模块、线段预测模块、线段交叉点匹配模块、线段采样模块；

所述第二层级联沙漏模块分别与所述交叉点预测模块、线段预测模块连接；

所述交叉点预测模块与所述线段交叉点匹配模块连接；

所述线段预测模块与所述线段交叉点匹配模块连接；

所述线段采样模块在网络训练阶段与所述线段交叉点匹配模块连接，在测试阶段不起作用；

所述交叉点预测模块由第一交叉点解码器、第二交叉点解码器构成；

所述线段预测模块由第一线段解码器、第二线段解码器、第三线段解码器构成；

所述的第一交叉点解码器、第二交叉点解码器、第一线段解码器、第二线段解码器、第三线段解码器均由卷积层构成；

所述感兴趣线段头部包括：贝塞尔对齐模块、全连接层分类器；

所述的贝塞尔对齐模块、全连接层分类器依次串联级联；

所述线段检测网络每个模块的作用如下：

所述线段特征提取骨干网络首先通过卷积层对输入图像进行多次下采样，输入图像I_a的尺寸为H×W×3，经过下采样空间尺寸变为然后利用所述的第一层级联沙漏模块、第二层级联沙漏模块提取多尺度特征，得到特征图F_a，尺寸为H_b×W_b×C；

所述线段提议网络的交叉点预测模块利用第一交叉点解码器预测交叉点的置信度图M_a，1，其尺寸为H_b×W_b，表示将输入图像I_a划分为H_b×W_b的网格，每个网格内存在交叉点的置信度(即概率)；同时利用第二交叉点解码器预测交叉点的偏移向量图M_a，2，其尺寸为H_b×W_b×2，表示每个网格内如果存在交叉点，交叉点坐标到网格中心坐标的偏移向量；利用交叉点的置信度图M_a，1、交叉点的偏移向量图M_a，2通过(3)式可以得到预测的交叉点集合

其中K＝300，表示将置信度按降序排序后，取置信度最高的前300个交叉点，i_k、j_k分别为第k个交叉点所在网格的行列下标，[j_k+0.5，i_k+0.5]表示第k个交叉点所在网格的中心点坐标，M_a，2(i_k，j_k)为第k个交叉点的偏移向量，p_a，k为第k个交叉点的坐标；

所述线段提议网络的线段预测模块利用第一线段解码器预测线段中点的置信度图M_a，3，其尺寸为H_b×W_b，利用第二线段解码器预测线段中点的偏移向量图M_a，4，其尺寸为H_b×W_b×2，计算得到预测的线段中点集合

其中K＝5000，表示取置信度最高的5000个线段中点；

同时利用第三线段解码器预测线段等分点到中点的偏移向量图M_a，5，其尺寸为其尺寸为H_b×W_b×(n+1)×2，n为贝塞尔曲线的阶数，n+1为等分点的数量，计算得到预测的线段集合

所述线段提议网络的线段交叉点匹配模块用于筛选高质量的候选线段，对于预测的线段集合中的线段如果存在2个预测的交叉点和能够和l的2个端点匹配上即欧式距离小于定义的阈值θ，则保留该线段，最终得到匹配后的候选线段集合即具体公式如下：

所述线段提议网络的线段采样模块用于在训练阶段采样得到线段的正负样本，来训练所述感兴趣线段头部的全连接层分类器；对于候选线段集合中的一条线段如果存在一条线段与l的线段距离d(l，l′)小于设定的阈值η，则认为l为正样本，标签为否则为负样本，标签为最终候选线段集合被划分为了正样本集合和负样本集合，再从中分别采样N_pos个正样本和N_neg个负样本，用于训练后续的分类器；

所述感兴趣线段头部的贝塞尔对齐模块用于生成固定长度的线段特征向量，在该模块中，对于匹配后的候选线段集合中每条线段即利用贝塞尔曲线插值公式对l进行均匀插值，得到N_P个插值点，再通过双线性插值计算每个点在特征图F上的特征，每个插值点有一个C维特征向量，将N_P个插值点的向量拼接为一个N_P×C的矩阵，再通过最大池化转化为的矩阵，最后展开为维的特征向量，得到线段l对应的特征向量；

所述感兴趣线段头部的全连接层分类器根据候选线段集合中候选线段的特征向量对候选线段进行分类，输出每条候选线段为真实线段的置信度分数；

步骤3：通过包括交叉点预测损失、线段预测损失、分类器损失构建线段检测网络的损失函数，将训练集的数据循环迭代带入线段检测网络，根据构建的线段检测网络的损失函数，利用自适应矩估计优化器进行优化更新网络，得到训练后的线段检测网络；

步骤4：将待检测图像通过双线性插值缩放到网络要求的大小H×W，然后将图像输入到训练后的线段检测网络，得到所有候选线段的置信度分数，通过设定置信度分数阈值，保留置信度分数大于阈值的线段，得到待检测图像中线段检测结果。