[发明专利]一种空基监视平台的轨道障碍物零样本分类方法及装置

权利要求书

1.一种空基监视平台的轨道障碍物零样本分类方法，其特征在于，包括：

步骤1：通过无人机采集铁轨的图片，输入前景检测器中；前景检测器从图片中提取障碍物目标区域，并将提取的区域图片裁剪为统一的尺寸大小；

步骤2：将障碍物类别分为可见类别和不可见类别，可见类别是指有训练样本的障碍物类别，不可见类别是指没有训练样本的障碍物类别；对所有障碍物的类别名称使用Word2vec技术生成相应的语义向量；在训练阶段，对所有可见类别障碍物的语义向量执行步骤3，由步骤1采集可见类别障碍物的样本；

步骤3：对障碍物类别名称的语义向量进行映射，映射到维度为W的嵌入空间中，得到障碍物类别的语义特征；其中，所用到的映射网络为3层感知机网络；W为正整数；

步骤4：对剪裁后的障碍物目标区域进行映射，映射到一个维度为W的嵌入空间中，得到障碍物目标区域的视觉特征；其中，所用到的映射网络为一个有20个卷积层和1个全局平均池化层的神经网络，每四个卷积层为一组卷积模块，每组卷积模块包含一次下采样；

在训练阶段，对可见类别障碍物的样本提取视觉特征；

步骤5：设计基于余弦度量的最邻近分类器，将障碍物目标区域的视觉特征和障碍物类别的语义特征，输入基于余弦度量的最邻近分类器，实现对障碍物分类；

步骤6：在训练阶段，对可见类别障碍物的样本的视觉特征和可见类别的语义特征进行球面匹配，优化步骤3和步骤4的映射网络中的网络参数，获取训练好的最邻近分类器；

所述的步骤6中，设计如下一个正则项约束网络的训练过程：

其中，在训练阶段，N_seen为可见类别的总数；κ表示余弦度量函数；a_i、a_j分别表示可见类别i、j的语义向量，ψ(a_i)，ψ(a_j)分别表示可见类别i、j的语义特征；η_i，j表示语义特征ψ(a_i)、ψ(a_j)的相似度的待匹配关系值，根据下式计算：

其中，λ表示训练映射网络开始前设置的超参数；||·||表示取模操作，上角标T表示转置；

在训练阶段，设置损失函数利用训练样本对步骤3和步骤4中的映射网络中的网络参数进行优化，其中，x为障碍物目标区域，即训练样本，函数y_j表示障碍物类别j的类别向量；

步骤7：在测试阶段，实时由无人机采集铁轨图片，经前景检测器提取障碍物目标区域，并裁剪到规定尺寸后，通过训练好的映射网络得到视觉特征，将不可见类别的类别名称的语义向量通过训练好的映射网络得到语义特征；将所得到的视觉特征与所有障碍物的类别名称的语义特征输入最邻近分类器，获取障碍物类别。

2.根据权利要求1所述的方法，其特征在于，所述的步骤3中，W设置为512。

3.根据权利要求1所述的方法，其特征在于，所述的步骤4中，每个卷积模块中的四个卷积层中，第一、第三和第四卷积层的卷积核均为1*1的大小，第二卷积层的卷积核为3*3的大小；第二卷积层和第四卷积层的卷积步长为2。

4.根据权利要求1所述的方法，其特征在于，所述的步骤5中，最邻近分类器表示为f(x)如下：

其中，κ表示余弦度量函数，j＝1，2，...，N_seen，N_seen为已知障碍物类别的总数；x为障碍物目标区域，为x的视觉特征；a_j表示障碍物类别j的语义向量，ψ(a_j)为障碍物类别j的语义特征；y_j表示障碍物类别j的类别向量。

5.基于权利要求1～4任意一项所述的方法实现的一种空基监视平台的轨道障碍物零样本分类装置，其特征在于，包括：图片采集器、障碍物目标提取器、目标映射网络、语义向量生成器、语义向量映射网络、基于余弦度量的最近邻分类器和警报器；

所述的图片采集器由无人机搭载摄像机实现，拍摄铁轨的图片并输入障碍物目标提取器；

所述的障碍物目标提取器利用前景检测器从图片中提取障碍物目标区域，并将提取的区域图片裁剪为统一的尺寸大小，输出到目标映射网络；

所述的目标映射网络对输入的障碍物目标区域进行映射，映射到一个维度为W的嵌入空间中，作为障碍物目标区域的视觉特征；目标映射网络为一个有20个卷积层和1个全局平均池化层的神经网络，每四个卷积层为一组卷积模块，每组卷积模块包含一次下采样；W为正整数；

所述的语义向量生成器使用Word2vec技术生成障碍物类别名称的语义向量；

所述的语义向量映射网络将所述的语义向量映射到维度为W的嵌入空间中，得到障碍物类别的语义特征；语义向量映射网络为3层感知机网络；

所述的基于余弦度量的最近邻分类器根据障碍物目标区域的视觉特征和障碍物类别的语义特征，对障碍物分类；

所述的警报器根据最近邻分类器对障碍物的分类结果，进行不同程度的预警；

在训练阶段，对目标映射网络和语义向量映射网络中的参数进行优化，获取训练好的最邻近分类器；然后利用训练好的目标映射网络、语义向量映射网络以及最邻近分类器对图片采集器采集的图片进行障碍物分类。