[发明专利]一种基于多分辨率CNN的毫米波雷达云图分割方法

摘要

一种基于多分辨率CNN的毫米波雷达云图分割方法属于图像分割领域。利用毫米波云雷达获取高时空分辨率的水平垂直结构的云演变图，其特征在于充分利用了云图上下文的信息，通过将三个不同分辨率的图像区域分别输入到三个相同参数配置的CNN网络中来学习云图的局部和全局特征，然后将学习到的特征通过神经网络的分类器可以实现“云”和“非云”的分类，进而实现云图的分割，最后综合三个网络的分割结果将云图的分割准确度达到了99.67％。

主权项

1.一种基于多分辨率CNN的毫米波雷达云图分割方法，其特征在于，步骤如下：前期准备阶段：1)、准备数据集(1)生成groundtruth从云图像集中随机抽取数十张云图，将云图像中“云”和“非云”区域用黑白颜色区分，用于下一步的CNN网络训练；(2)云图延伸先对云演变图的边界进行了延伸，即为云图像A*B增加了C个像素的背景图像边界，此时图像变为(A+2C)*(B+2C)；(3)训练集，训练集是对带有groundtruth的Q张A*B大小的云图进行处理；具体操作如下：a.裁剪出高分辨率的图像D1用于输入CNN1训练网络；以A*B云图像中的像素点d为中心，以2C为边长裁出2C*2C的图像区域，再以该像素点d为中心，以C/2为边长裁剪出(C/2)*(C/2)大小的图像D1；D1就是以像素点d为中心所表示的图像中包含局部特征的图像；b.通过一次下采样并裁剪出相对低分辨率的图像D2用于输入CNN2训练网络；同样以像素点d为中心，先将2C*2C的图像进行下采样得到C*C的图像区域，再在C*C的图像基础上，以d为中心，以C/2为边长裁剪出(C/2)*(C/2)大小的图像D2；D2此时既包含局部特征也包含相对全局的特征；c.通过两次下采样并裁剪出低分辨率的图像D3用于输入CNN3训练网络；同样以像素点d为中心，这次直接将图像C*C下采样得到大小为(C/2)*(C/2)的图像D3；D3此时包含更多的全局特征；d.此时Q张A*B云图所生成的不同分辨率的子图即为训练图片，再将Q张云图所对应的groundtruth转化为txt文件，放成list的形式，即为训练标签，每个像素点是“云”还是“非云”用0或1表示；(4)测试集，测试集是对带有groundtruth的I张A*B大小的云图进行处理；I＝P‑Q，这里P表示数据集中有P张云图，具体操作如下：a.裁剪出高分辨率的图像D1’用于输入CNN1测试网络；以A*B云图像中的像素点d’为中心，以2C为边长裁出2C*2C的图像区域，再以该像素点d’为中心，以C/2为边长裁剪出(C/2)*(C/2)大小的图像D1’；D1’就是以像素点d’为中心所表示的图像中包含局部特征的图像；b.通过一次下采样并裁剪出相对低分辨率的图像D2’用于输入CNN2测试网络；同样以像素点d’为中心，先将2C*2C的图像进行下采样得到C*C的图像区域，再在C*C的图像基础上，以d为中心，以C/2为边长裁剪出(C/2)*(C/2)大小的图像D2’；D2’此时既包含局部特征也包含相对全局的特征；c.通过两次下采样并裁剪出低分辨率的图像D3’用于输入CNN3测试网络；同样以像素点d’为中心，这次直接将图像C*C下采样得到大小为(C/2)*(C/2)的图像D3’；D3’此时包含更多的全局特征；d.此时I张A*B云图所生成的不同分辨率的子图即为测试图片，再将I张云图所对应的groundtruth转化为txt文件，放成list的形式，即为测试标签；测试样本通过训练集生成的网络模型得到判断的结果，并与测试标签进行比对，得到该模型的准确性；测试集与训练集不应该有重复的数据；2)、训练CNNCNN网络由5个卷积层、3个全连接层组成，并且只给卷积层C1、卷积层C2和卷积层C5加入了pooling层；F1到F3是全连接层，相当于在五层卷积层的基础上再加上一个三层的全连接神经网络分类器；将AlexNet中F3的神经元个数由1000调为2，实现“云”和“非云”的2分类；具体过程：输入(C/2)*(C/2)图像之后，CNN网络中的数据层会将图片重置为227*227大小，分为RGB三个颜色通道输入；C1～C5是卷积层，C1层卷积滤波器的大小是11*11，卷积的步长为4，C1层共有96个卷积滤波器，则通过卷积运算：y1j(r)＝max(0，b1j(r)+∑ik1ij(r)*x1i(r))      (1)x1i(r)表示C1层第i个输入的map集合，y1j(r)表示C1层第j个输出的map集合，k1ij(r)表示的是C1层的第i个输入的map与第j个输出的map之间的卷积核，b1j(r)表示C1层第j个输出map的偏置，公式中的r表示权值共享的局部区域；C1层的输出是：(227‑11)/4+1＝55，即55*55*96＝290400个神经元；在C1卷积滤波后，还接着有最大池采样操作；此pooling层核大小为3，步长为2，则第一个卷积层C1池化之后的输出：(55‑3)/2+1＝27，即27*27*96＝69984个神经元；C2层卷积核的大小为5，pad为2，卷积的步长为1，C2层共有256个卷积滤波器，同样通过卷积运算：y2j(r)＝max(0，b2j(r)+∑ik2ij(r)*x2i(r))       (2)x2i(r)表示C2层第i个输入的map集合，y2j(r)表示C2层第j个输出的map集合，k2ij(r)表示的是C2层的第i个输入的map与第j个输出的map之间的卷积核，b2j(r)表示C2层第j个输出map的偏置，公式中的r表示权值共享的局部区域；最后C2层的输出是：(27‑5+2*2)/1+1＝27,即27*27*256＝186624个神经元；在C2卷积滤波后，接着同样有最大池采样max‑pooling操作；此pooling层核大小为3，步长为2，则第二个卷积层池化之后的输出：(27‑3)/2+1＝13，即13*13*256＝43264个神经元；C3层的卷积核大小为3，pad为1，卷积的步长为1，C3层共有384个滤波器，则C3层最后的输出是(13‑3+2*1)/1+1＝13，即13*13*384＝64896个神经元；C4的输出是(13‑3+2*1)/1+1＝13，384个滤波器，即13*13*384＝64896个神经元；C5层输出(13‑3+2*1)/1+1＝13，256个滤波器，即13*13*256＝43264个神经元，接着在第五个卷积层C5池化之后学习到6*6*256＝9216个神经元；3)、分类F1到F3是全连接层，相当于在五层卷积层的基础上再加上一个三层的全连接神经网络分类器；F1层的操作是：yj＝max(0，∑ixi·wi，j+bj)           (3)其中xi表示F1层第i个输入的map集合，yj表示F1层第j个输出的map集合，wi，j表示的是F1层的第i个输入的map与第j个输出的map之间的权重，bj表示F1层第j个输出map的偏置；上一层的基本连接是6*6*256，然后全连接到4096个节点，F1层的最终节点是4096；F2是F1在进行ReLU操作和dropout操作之后进行全连接的结果，F2层的节点数目为4096；F3是在F2层再次进行ReLU和dropout后再进行全连接的结果，最后的输出是融合标签的softmax loss：其中y’i表示的是第i个类别的线性预测结果，y’j表示的是n个类别中第j个类别的线性预测结果；取指数之后除以所有项之和进行归一化，就得到数据属于类别i的概率；F3层的神经元个数是2，来实现“云”和“非云”的2分类；4)、分割最终的分割结果用S表示，CNN1、CNN2、CNN3得到的分割结果用S1、S2、S3表示，则：S＝t1·S1+t2·S2+t3·S3             (5)t1＝t2＝0.45，t3＝0.1,5)、分割评价像素误差Epixel是衡量待测的分割标签L以及其真实的数据标签L’的距离，则：Epixel＝||L‑L’||2            (6)其中||*||代表汉明距。