[发明专利]一种基于特征扩增的无监督夜间图像分类方法

说明书

本发明属于计算机视觉识别技术领域，涉及一种基于特征扩增的无监督夜间图像分类方法。采用具有白天图像分类标签的公开数据集训练分类网络，经分类网络提取输入图像的特征向量，并计算各类别的特征均值与协方差矩阵；将无标签的夜间图像输入分类网络获得该图像的伪标签，根据伪标签计算夜间图像各类别在特征空间的特征均值与协方差矩阵；对同类别的白天、夜间图像获取的协方差矩阵进行加权平均获得最终协方差矩阵；根据各类别夜间图像特征均值和加权平均后的协方差矩阵进行特征采样；将采样的特征值与原有特征值共同重新训练分类网络。本发明通过学习有标签的白天图像的特征分布，在特征层面对夜间数据进行扩增，从而实现对夜间图像的无监督分类。

技术领域

本发明属于计算机视觉识别技术领域，尤其涉及一种基于特征扩增的无监督夜间图像分类方法。

背景技术

图像分类是计算机视觉识别领域最经典的一个任务，也是其他许多视觉问题的基础，具有巨大的实用价值和应用前景。图像分类本质上是一个模式分类问题，它的目标是将不同的图像划分到不同的类别，实现最小的分类误差。随着卷积神经网络CNN的成功，深度学习已被证明是图像分类问题一个有效的解决方案。

目前已有的涉及图像分类的大型公开数据集主要包括ImageNet、COCO、PascalVOC等，然而这些数据集基本都是在白天环境下采集的图像。研究表明，白天图像与夜间图像存在明显的领域差距，用白天数据集训练的神经网络在处理夜间数据时往往会出现性能骤降的问题。针对该问题，目前主要有以下两种方法：

1、域适应。在迁移学习中，当源域和目标域的数据分布不同，但两个任务相同时，这种特殊的迁移学习叫做域适应。域适应主要通过找到一个特征空间，使源域与目标域在该共享空间的分布相匹配。通过学习共享空间来匹配白天与夜间数据的分布，可以有效提升夜间数据的分类性能。目前的技术手段主要通过生成对抗网络实现，但其存在训练不稳定、训练时间长等问题。

2、数据扩增。由于没有大型的夜间图像分类数据集，在无监督的情况下可以进行夜间数据扩增。如使用GAN将白天图像生成对应的低光照图像，即在图像层面进行数据扩增。但该方法生成的夜间图像并不符合真实数据分布，与真实夜间数据同样存在领域差距。

因此，如何对夜间数据集进行有效扩增，使其训练的模型所提取的特征更加拟合真实夜间数据分布，是无监督夜间图像分类亟待解决的问题。

发明内容

为了解决现有技术中存在的对夜间分类数据集缺乏的情况，本发明提出一种基于特征扩增的无监督夜间图像分类方法，首先通过训练白天图像分类器获取白天各类别特征分布，基于特征向量各维度都是高斯分布的假设，利用白天特征分布的均值与协方差对夜间特征进行采样，在特征层面实现夜间数据扩增，最终将原数据与采样数据一同对模型进行重新训练，从而提升夜间图像分类性能，其具体技术方案如下：

一种基于特征扩增的无监督夜间图像分类方法，包括以下步骤：

步骤1：构建数据集：下载开源夜间图像分类数据集Exclusively Dark（ExDark），从中选取部分图像构建无监督夜间图像数据集A，剩余图像作为夜间图像分类性能验证集B；从Pascal VOC公开数据集中随机选取部分与ExDark数据集对应类别的图像，作为白天图像分类数据集T；

步骤2：训练分类网络进行图像特征提取，获得图像各类别特征均值与协方差矩阵：采用白天图像分类数据集T训练分类网络，经分类网络，提取输入图像的特征向量，计算各类别的特征均值与协方差矩阵；

步骤3：输入夜间图像数据集A至所述分类网络，获得输入图像的伪标签；

步骤4：根据伪标签统计夜间图像各类别特征均值与协方差矩阵；

步骤5：对同类别的白天、夜间图像获取的协方差矩阵进行加权平均获得融合协方差矩阵；

步骤6：根据夜间图像各类别的特征均值和融合协方差矩阵进行特征采样；