[发明专利]一种基于CNN特征融合框架的花卉识别方法

权利要求书

1.一种基于CNN特征融合框架的花卉识别方法，该方法将图片的多种有效特征与识别图片性能较好的CNN进行结合，训练出基于每种特征的识别模型，其特征在于包括如下步骤：

步骤1：图像预处理与特征提取；

步骤2：基于每种特征的CNN模型训练

步骤3：基于结果训练融合框架，获得花卉融合识别框架；

所述的步骤1具体实现如下：

1-1.背景分割：首先对训练样本图像进行背景分割；

1-2.HSV特征提取：

将训练样本图像从原始RGB图像转换为HSV色彩空间并同时移除V空间；转换公式如下：

其中，R，G，B为每个像素对应的值；

再将处理后的图像划分为指定数量的的颜色小区间，每个小区间成为直方图的一个bin，即对图像进行量化，然后通过计算颜色每个小区间内的像素数量得到HSV颜色直方图，即为HSV的颜色特征；

1-3.纹理特征提取：

采用二维离散小波变换并用DWT来提取图像纹理特征，二维离散小波变换公式如下：

其中，f(x，y)是原始图像的信息，这里指饱和度(S)；是一个小波函数，定义如下：

当处理图像时，对图像进行小波变换，将图像转化为四个子图像：低分辨率子图像A、水平方向子图像H、垂直方向子图像V和对角线方向子图像D；其中低分辨率子图像A将信号的主要成分集中，其余水平方向子图像H、垂直方向子图像V和对角线方向子图像D是信号的高频信息，即细节信息；使用小波变换的三个高频带输出的总和作为纹理特征：

T＝W_H+W_V+W_D

1-4.HOG特征提取：

首先将图像转化为灰度图像，再进行Gamma归一化处理，并将图像划分为多个blocks并在每个block内划分多个cells，再采用像Sobel和Laplacian的梯度运算符来卷积每个cell以获得梯度方向和幅度；具体公式如下：

其中，I_x和I_y代表水平和垂直方向上的梯度值，M(x，y)代表梯度的幅度值，θ(x，y)代表梯度的方向；

1-5.SIFT特征提取：

尺度空间的极值检测：将图像的多尺度使用图像金字塔表示出来；这其中，要先对图像进行平滑处理，然后对处理后的图像进行降采样；这其中需要高斯卷积核构建尺度空间，二维图像的尺度空间定义如下：

L(x，y，σ)＝G(x，y，σ)×I(x，y)

其中，G(x，y，σ)是尺度可变高斯函数，I(x，y)是空间坐标，σ称为尺度空间因子；

然后由原图开始对得到的相邻的高斯空间的图像进行运算往上构建图像金字塔，原图为最底层，其后往上每一层是对其下一层进行Laplacian变换构建高斯金字塔；再将相邻的高斯金字塔相减就得到了DoG金字塔；

检测DOG尺度空间极值点：将每一个采样点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点相比较，以此来确保在尺度空间和二维图像空间都检测到极值点，重复此步骤检测到所有的极值点；

求取特征点的主方向：利用特征点邻域像素的梯度分布特性来确定其方向参数，再利用图像的梯度直方图求取关键点局部结构的稳定方向；以特征点的为中心、以3×1.5σ为半径的领域内计算各个像素点的梯度的幅角和幅值，然后使用直方图对梯度的幅角进行统计；直方图的横轴是梯度的方向，纵轴为梯度方向对应梯度幅值的累加值，直方图中最高峰所对应的方向即为特征点的方向；得到特征点的主方向后，对于每个特征点可以得到三个信息(x，y，σ，θ)，即位置、尺度和方向，由此可以确定一个SIFT特征区域；

生成特征描述：首先将坐标轴旋转为特征点的方向，以特征点为中心的16×16的窗口的像素的梯度幅值和方向，将窗口内的像素分成16块，每块是其像素内8个方向的直方图统计，共可形成128维的特征向量，即为SIFT特征；

1-6深度特征提取：提取深度特征首先需要构建两个分别基于CNN的神经网络：全局粗尺度网络和局部细尺寸网络；

首先将图片同时输入全局粗尺度网络与局部细尺寸网络，再将全局粗尺度网络的输出添加到局部细尺寸网络的第二层作为参数之一，经过局部细尺寸网络后，可以输出深度特征。