[发明专利]基于深度学习的单帧星图背景暗弱目标提取方法

权利要求书

1.一种基于深度学习的单帧星图背景暗弱目标提取方法，其特征在于步骤如下：

步骤a：利用星图仿真随机生成不同仿真星图数据及与其对应的二值化分割后的标记图数据，将星图数据和与星图数据集对应的进行二值化分割后的标记图数据集作为训练数据集；

步骤b：训练5个网络模型，分别为SN-32S、SN-16S、SN-8S、SN-4S、SN-2S；其中SN-32S用VGG16模型对其进行网络参数初始化后，直接利用深层特征对图像像素进行分类；而SN-16S、SN-8S、SN-4S、SN-2S依次用SN-32S、SN-16S、SN-8S、SN-4S对其进行网络参数的初始化，分别用图像的深层特征与不同层次的浅层特征进行图像特征融合，SN-2S为最终的目标提取网络模型，SN-2S网络模型融合的图像不同层次的特征最多；所述的SN-32S模型的网络为11层，SN-16S模型的网络为12层，SN-8S模型的网络为13层，SN-4S模型的网络为14层，SN-2S模型的网络为15层；每个模型的训练包括卷积操作、池化操作、上采样操作、特征融合操作、图像大小修正操作与损失计算操作；

步骤c：调用训练好的SN-2S模型，利用该网络模型初始化用于最终目标提取的测试网络的各层网络参数，将待目标提取的图像输入初始化网络参数后的测试网络中，利用该测试网络提取目标的多层特征并融合不同层次特征，最终得到的输出图像便为目标提取的结果。

2.根据权利要求1所述的基于深度学习的单帧星图背景暗弱目标提取方法，其特征在于所述的步骤b具体步骤如下：

步骤1：获取训练数据集，设定初始化训练参数，通过读取数据集路径及生成的训练数据集图像名的文本文档，读入训练图像；设定初始化训练参数：批量次数设为100；测试间隔设为10000；平均损失设为20；学习率设为1e-17；学习策略设为fixed；梯度更新权重为0.99；批处理图像数目设置为200；最大训练次数设为100000，权重衰减项设为0.0005；

步骤2：使用步骤1获得的数据集训练提取星图暗弱目标的神经网络SN，用VGG16模型进行SN-32S网络各层参数的初始化；

步骤2.1：将1024×1024的数据图像集中的图像输入，在输入图像四周加一个大小为20的边框，该边框像素值与原图四周边缘的像素值一致，最终生成的图像记为S，其大小为1064×1064，为神经网络的第一层输入层；

步骤2.2：对步骤2.1的结果依次进行2次卷积处理，生成的特征图f₁、f₂分别命名为conv1_1与conv1_2，进行1次下采样处理，生成的特征图f₃命名为pooling1，并在每次卷积操作后加入激活函数加速收敛，为神经网络的第二层；通过公式(1)-公式(3)计算经过卷积处理和下采样处理分别生成的特征图conv1_1、conv1_2和pooling1：

conv1_1＝Conv(I＝S，n＝64，p＝100，k＝3×3，s＝1) (1)

conv1_2＝Conv(I＝conv1_1，n＝64，p＝1，k＝3×3，s＝1) (2)

pooling1＝MaxPooling(I＝conv1_2，k＝2×2，s＝2) (3)

其中，本发明中采用的激活函数为ReLU函数；下采样部分采用最大下采样操作扩大网络感受野；Conv(I，n，p，k，s)是对图像I进行卷积操作，n、p、k、s是卷积参数，n表示卷积核的个数，p表示边框的大小，k表示卷积核的大小，s表示卷积核移动的步长；MaxPooling(I，k，s)是对图像I进行最大下采样操作，k、s是下采样参数，k表示卷积核的大小，s表示卷积核移动的步长；

步骤2.3：对步骤2.2的结果依次进行2次卷积处理，生成的特征图f₄、f₅分别命名为conv2_1与conv2_2，进行1次下采样处理，生成的特征图f₆命名为pooling2，并在每次卷积操作后加入激活函数加速收敛，为神经网络的第三层；通过公式(4)-公式(6)计算经过卷积处理和下采样处理分别生成的特征图conv2_1、conv2_2和pooling2：

conv2_1＝Conv(I＝pooling1，n＝128，p＝1，k＝3×3，s＝1) (4)

conv2_2＝Conv(I＝conv2_1，n＝128，p＝1，k＝3×3，s＝1) (5)

pooling2＝MaxPooling(I＝conv2_2，k＝2×2，s＝2) (6)

步骤2.4：对步骤2.3的结果依次进行3次卷积处理，生成的特征图f₇、f₈、f₉分别命名为conv3_1、conv3_2与conv3_3，进行1次下采样处理，生成的特征图f₁₀命名为pooling3，并在每次卷积操作后加入激活函数加速收敛，为神经网络的第四层；通过公式(7)-公式(10)计算经过卷积处理和下采样处理分别生成的特征图conv3_1、conv3_2、conv3_3和pooling3：

conv3_1＝Conv(I＝pooling2，n＝256，p＝1，k＝3×3，s＝1) (7)

conv3_2＝Conv(I＝conv3_1，n＝256，p＝1，k＝3×3，s＝1) (8)

conv3_3＝Conv(I＝conv3_2，n＝256，p＝1，k＝3×3，s＝1) (9)

pooling3＝MaxPooling(I＝conv3_3，k＝2×2，s＝2) (10)

步骤2.5：对步骤2.4的结果依次进行3次卷积处理，生成的特征图f₁₁、f₁₂、f₁₃分别命名为conv4_1、conv4_2与conv4_3，进行1次下采样处理，生成的特征图f₁₄命名为pooling4，并在每次卷积操作后加入激活函数加速收敛，为神经网络的第五层；通过公式(11)-公式(14)计算经过卷积处理和下采样处理分别生成的特征图conv4_1、conv4_2、conv4_3和pooling4：

conv4_1＝Conv(I＝pooling3，n＝512，p＝1，k＝3×3，s＝1) (11)

conv4_2＝Conv(I＝conv4_1，n＝512，p＝1，k＝3×3，s＝1) (12)

conv4_3＝Conv(I＝conv4_2，n＝512，p＝1，k＝3×3，s＝1) (13)

pooling4＝MaxPooling(I＝conv4_3，k＝2×2，s＝2) (14)

步骤2.6：对步骤2.5的结果依次进行3次卷积处理，生成的特征图f₁₅、f₁₆、f₁₇分别命名为conv5_1、conv5_2与conv5_3，进行1次下采样处理，生成的特征图f₁₈命名为pooling5，并在每次卷积操作后加入激活函数加速收敛，为神经网络的第六层；通过公式(15)-公式(18)计算经过卷积处理和下采样处理分别生成的特征图conv5_1、conv5_2、conv5_3和pooling5：

conv5_1＝Conv(I＝pooling4，n＝512，p＝1，k＝3×3，s＝1) (15)

conv5_2＝Conv(I＝conv5_1，n＝512，p＝1，k＝3×3，s＝1) (16)

conv5_3＝Conv(I＝conv5_2，n＝512，p＝1，k＝3×3，s＝1) (17)

pooling5＝MaxPooling(I＝conv5_3，k＝2×2，s＝2) (18)

步骤2.7：对步骤2.6的结果进行1次卷积处理，生成的特征图f₁₉命名为conv6，在卷积操作后加入激活函数加速收敛，并进行防止模型过拟合处理，生成的特征图f₂₀命名为dropout1，为神经网络的第七层；通过公式(19)-公式(20)计算经过卷积处理生成的特征图conv6和dropout1：

conv6＝Conv(I＝pooling5，n＝4096，p＝0，k＝7×7，s＝1) (19)

dropout1＝Dropout(I＝conv6，dropout_ratio＝0.5) (20)

其中，Dropout(I，dropout_ratio)是对图像I进行防过拟合操作，dropout_ratio表示舍去部分神经元的概率；

步骤2.8：对步骤2.7的结果进行1次卷积处理，生成的特征图f₂₁命名为conv7，在卷积操作后加入激活函数加速收敛，然后进行防止模型过拟合处理，生成的特征图f₂₂命名为dropout2，并对特征图f₂₂进行像素分类概率预测，生成的概率预测图p₁命名为score_fc7，为神经网络的第八层；通过公式(21)-公式(23)计算经过卷积处理生成的特征图conv7、dropout2及概率预测图score_fc7：

conv7＝Conv(I＝dropout1，n＝4096，p＝1，k＝1×1，s＝1) (21)

dropout2＝Dropout(I＝conv7，dropout_ratio＝0.5) (22)

score_fc7＝Score(I＝dropout2，num_output＝2，p＝0，k＝1×1) (23)

其中，Score(I，num_output，p，k)是对特征图I计算像素分类的概率预测，num_output、p、k是分类概率预测计算的参数，num_output表示像素分类的类数，p表示边框的大小，k表示卷积核的大小；

步骤2.9：对步骤2.8的结果进行1次32倍的上采样处理，生成的概率预测图p₂命名为deconv1，为神经网络的九层；通过公式(24)计算经过上采样处理生成的概率预测图deconv1：

deconv1＝Deconv(T＝score_fc7，num_output＝2，k＝64×64，s＝32) (24)

其中，本发明中上采样处理采用线性插值的方法；Deconv(T，num_output，k，s)是对概率预测图T进行上采样操作，num_output、k、s是上采样参数，num_output表示像素分类的类数，k表示卷积核的大小，s表示卷积核移动的步长；

步骤2.10：对步骤2.9的结果进行1次图像大小修正处理，使其恢复到输入原图的大小，生成的概率预测图p₃命名为crop1，为神经网络的第十层；对第十层的结果进行1次损失计算处理，比较模型预测图中所有像素的分类与真实图像中所有像素所属的类别之间的的误差损失，损失值记为loss1，为神经网络的十一层；通过公式(25)-公式(26)对图像大小进行修正生成概率预测图crop1及损失值loss1：

crop1＝Crop(T＝deconv1，axis＝2，offset＝19) (25)

loss1＝Softmax(T＝crop1，ignore_label＝255) (26)

其中，本发明中采用Softmax函数进行损失计算；Crop(T，axis，offset)是对图像T进行图像大小的修正，axis表示需要剪裁的最低维数，offset表示剪裁的尺寸；Softmax(T，ignore_label)用来衡量概率预测图T中像素的预测值和真实值之间的误差，ignore_label表示计算分类误差过程中需要忽略的像素的像素值；

步骤2.11：使用数据集图像多次迭代步骤2.1～步骤2.10训练该神经网络，直到损失收敛，获得并保存模型SN-32S；

步骤2.12：使用步骤1获得的数据集训练提取星图暗弱目标的神经网络SN，用步骤2.11的结果SN-32S模型进行SN-16S网络各层参数的初始化；

步骤2.13：重复步骤2.1～2.8，对步骤2.8的结果进行1次2倍上采样处理，生成的概率预测图p₄命名为deconv2；对步骤2.5的结果进行分类概率预测，生成的概率预测图p₅命名为score_pooling4，并对概率预测图score_pooling4进行大小修正，使之与概率预测图deconv2的大小一致，生成的概率预测图p₆命名为crop2，然后将概率预测图crop2与概率预测图deconv2进行特征融合，生成的概率预测图p₇命名为sum1，为新神经网络的九层；通过公式(27)-公式(30)计算经过上采样处理、分类概率计算、大小修正和特征融合处理分别生成的概率预测图deconv2、score_pooling4、crop2和sum1：

deconv2＝Deconv(T＝score_f7，num_output＝2，k＝4×4，s＝2) (27)

score_pooling4＝Score(I＝pooling4，num_output＝2，p＝0，k＝1) (28)

crop2＝Crop(T＝score_pooling4，axis＝2，offset＝5) (29)

sum1＝Sum(T₁＝deconv2，T₂＝crop2) (30)

其中，本发明采用直接求和的方法进行特征融合；Sum(T₁，T₂)是对概率预测图T1和T2进行图像特征的融合，将两张概率预测图直接相加，得到融合了两张不同概率预测图T₁和T₂的新的概率预测图；

步骤2.14：对步骤2.13的结果进行1次16倍的上采样处理，生成的概率预测图p₈命名为deconv3，为神经网络的十层；通过公式(31)计算经过上采样处理生成的概率预测图deconv3：

deconv3＝Deconv(T＝sum1，num_output＝2，k＝32×32，s＝16) (31)

步骤2.15：对步骤2.14的结果进行1次图像大小修正处理，使其恢复到输入原图的大小，生成的概率预测图p₉命名为crop3，为神经网络的第十一层；对第十一层的结果进行1次损失计算处理，比较模型预测图中所有像素的分类与真实图像中所有像素所属的类别之间的误差损失，损失值记为loss2，为神经网络的十二层；通过公式(32)-公式(33)对图像大小进行修正生成概率预测图crop3及损失值loss2：

crop3＝Crop(T＝deconv3，axis＝2，offset＝27) (32)

loss2＝Softmax(T＝crop3，ignore_label＝255) (33)

步骤2.16：使用数据集图像多次迭代步骤2.13～步骤2.15训练该神经网络，直到损失收敛，获得并保存模型SN-16S；

步骤2.17：使用步骤1获得的数据集训练提取星图暗弱目标的神经网络SN，用步骤2.16的结果SN-16S模型进行SN-8S网络各层参数的初始化；

步骤2.18：重复步骤2.13，对步骤2.13的结果进行1次2倍上采样处理，生成的概率预测图p₁₀命名为deconv4；对步骤2.4的结果进行分类概率预测，生成的概率预测图p₁₁命名为score_pooling3，并对概率预测图score_pooling3进行大小修正，使之与概率预测图deconv4的大小一致，生成的概率预测图p₁₂命名为crop4，然后将概率预测图crop4与概率预测图deconv4进行特征融合，生成的概率预测图p₁₃命名为sum2，为新神经网络的十层；通过公式(34)-公式(37)计算经过上采样处理、分类概率计算、大小修正和特征融合处理分别生成的概率预测图deconv4、score_pooling3、crop4和sum2：

deconv4＝Deconv(T＝sum1，num_output＝2，k＝4×4，s＝2) (34)

score_pooling3＝Score(I＝pooling3，num_output＝2，p＝0，k＝1×1) (35)

crop4＝Crop(T＝score_pooling3，axis＝2，offset＝9) (36)

sum2＝Sum(T₁＝deconv4，T₂＝crop4) (37)

步骤2.19：对步骤2.18的结果进行1次8倍的上采样处理，生成的概率预测图p₁₄命名为deconv5，为神经网络的十一层；通过公式(38)计算经过上采样处理生成的概率预测图deconv5：

deconv5＝Deconv(T＝sum2，num_output＝2，k＝16×16，s＝8) (38)

步骤2.20：对步骤2.19的结果进行1次图像大小修正处理，使其恢复到输入原图的大小，生成的概率预测图p₁₅命名为crop5，为神经网络的第十二层；对第十二层的结果进行1次损失计算处理，比较模型预测图中所有像素的分类与真实图像中所有像素所属的类别之间的误差损失，损失值记为loss3，为神经网络的十三层；通过公式(39)-公式(40)对图像大小进行修正生成概率预测图crop5及损失值loss3：

crop5＝Crop(T＝deconv5，axis＝2，offset＝31) (39)

loss3＝Softmax(T＝crop5，ignore_label＝255) (40)

步骤2.21：使用数据集图像多次迭代步骤2.18～步骤2.20训练该神经网络，直到损失收敛，获得并保存模型SN-8S；

步骤2.22：使用步骤1获得的数据集训练提取星图暗弱目标的神经网络SN，用步骤2.21的结果SN-8S模型进行SN-4S网络各层参数的初始化；

步骤2.23：重复步骤2.18，对步骤2.18的结果进行1次2倍上采样处理，生成的概率预测图p₁₆命名为deconv6；对步骤2.3的结果进行分类概率预测，生成的概率预测图p₁₇命名为score_pooling2，并对概率预测图score_pooling2进行大小修正，使之与概率预测图deconv6的大小一致，生成的概率预测图p₁₈命名为crop6，然后将概率预测图crop6与概率预测图deconv6进行特征融合，生成的概率预测图p₁₉命名为sum3，为新神经网络的十一层；通过公式(41)-公式(44)计算经过上采样处理、分类概率计算、大小修正和特征融合处理分别生成的概率预测图deconv6、score_pooling2、crop6和sum3：

deconv6＝Deconv(T＝sum2，num_output＝2，k＝4×4，s＝2) (41)

score_pooling2＝Score(I＝pooling2，num_output＝2，p＝0，k＝1×1) (42)

crop6＝Crop(T＝score_pooling2，axis＝2，offset＝17) (43)

sum3＝Sum(T₁＝deconv6，T₂＝crop6) (44)

步骤2.24：对步骤2.23的结果进行1次4倍的上采样处理，生成的概率预测图p₂₀命名为deconv7，为神经网络的十二层；通过公式(45)计算经过上采样处理生成的概率预测图deconv7：

deconv7＝Deconv(T＝sum3，num_output＝2，k＝8×8，s＝4) (45)

步骤2.25：对步骤2.24的结果进行1次图像大小修正处理，使其恢复到输入原图的大小，生成的概率预测图p₂₁命名为crop7，为神经网络的第十三层；对第十三层的结果进行1次损失计算处理，比较模型预测图中所有像素的分类与真实图像中所有像素所属的类别之间的误差损失，损失值记为loss4，为神经网络的十四层；通过公式(46)-公式(47)对图像大小进行修正生成概率预测图crop7及损失值loss4：

crop7＝Crop(T＝deconv7，axis＝2，offset＝33) (46)

loss4＝Softmax(T＝crop7，ignore_label＝255) (47)

步骤2.26：使用数据集图像多次迭代步骤2.23～步骤2.25训练该神经网络，直到损失收敛，获得并保存模型SN-4S；

步骤2.27：使用步骤1获得的数据集训练提取星图暗弱目标的神经网络SN，用步骤2.26的结果SN-4S模型进行SN-2S网络各层参数的初始化；

步骤2.28：重复步骤2.23，对步骤2.23的结果进行1次2倍上采样处理，生成的概率预测图p₂₂命名为deconv8；对步骤2.2的结果进行分类概率预测，生成的概率预测图p₂₃命名为score_pooling1，并对概率预测图score_pooling1进行大小修正，使之与概率预测图deconv8的大小一致，生成的概率预测图p₂₄命名为crop8，然后将概率预测图crop8与概率预测图deconv8进行特征融合，生成的概率预测图p₂₅命名为sum4，为新神经网络的十二层；通过公式(48)-公式(51)计算经过上采样处理、分类概率计算、大小修正和特征融合处理分别生成的概率预测图deconv8、score_pooling1、crop8和sum4：

deconv8＝Deconv(T＝sum3，num_output＝2，k＝4×4，s＝2) (48)

score_pooling1＝Score(I＝pooling1，num_output＝2，p＝0，k＝1×1) (49)

crop8＝Crop(T＝score_pooling1，axis＝2，offset＝33) (50)

sum4＝Sum(T₁＝deconv8，T₂＝crop8) (51)

步骤2.29：对步骤2.28的结果进行1次2倍的上采样处理，生成的概率预测图p₂₆命名为deconv9，为神经网络的十三层；通过公式(52)计算经过上采样处理生成的概率预测图deconv9：

deconv9＝Deconv(T＝sum4，num_output＝2，k＝8×8，s＝2) (52)

步骤2.30：对步骤2.29的结果进行1次图像大小修正处理，使其恢复到输入原图的大小，生成的概率预测图p₂₇命名为crop9，为神经网络的第十四层；对第十四层的结果进行1次损失计算处理，比较模型预测图中所有像素的分类与真实图像中所有像素所属的类别之间的误差损失，损失值记为loss5，为神经网络的十五层；通过公式(53)-公式(54)对图像大小进行修正生成概率预测图crop9及损失值loss5：

crop9＝Crop(T＝deconv9，axis＝2，offset＝36) (53)

loss5＝Softmax(T＝crop9，ignore_label＝255) (54)

步骤2.31：使用数据集图像多次迭代步骤2.28～步骤2.30训练该神经网络，直到损失收敛，获得并保存模型SN-2S；此时的SN-2S便为最终可以进行单帧星图暗弱目标提取的网络模型。