[发明专利]一种基于胶囊网络的鲁棒场景识别方法及系统

权利要求书

1.一种基于胶囊网络的鲁棒场景识别方法，其特征在于，所述方法包括以下步骤：

将原始图片通过残差网络得到特征图；

将通过所述残差网络得到的所述特征图输入到胶囊层中编码空间关系，首先将输入转换为向量神经元，并在不同胶囊层间通过动态路由算法最终编码得到整幅图像的低维向量表示，获得网络框架；

利用弱监督训练数据集并通过全局难样本挖掘所构建的三元组损失来对所述网络框架进行训练，以确定所述网络框架的参数；利用所述训练好的网络框架进行场景识别。

2.根据权利要求1所述的方法，其特征在于，所述胶囊层包括初始胶囊层和数字胶囊层，所述将通过所述残差网络得到的所述特征图输入到胶囊层中编码空间关系，最终得到整幅图像的低维向量表示，包括：

利用所述初始胶囊层，对得到的所述特征图进行卷积操作，将输入转换为向量神经元；

利用所述数字胶囊层，对所述卷积操作后的向量神经元通过动态路由算法最终编码得到整幅图像的低维向量表示。

3.根据权利要求1所述的方法，其特征在于，在利用弱监督训练数据集对所述网络框架进行训练的过程中，所述弱监督训练数据集采用通用的弱监督街景数据，具体为：

当前比较成熟的谷歌街景数据，其中相同地点/场景/会在不同时间、季节下多次采集，但数据只有近似的GPS位置信息，所述GPS位置信息可以被用来判断位置较近或较远的图像，但没有提供严格的正/负样本对应关系。

4.根据权利要求3所述的方法，其特征在于，在利用弱监督训练数据集对所述网络框架进行训练中，损失函数采用三元组损失函数，包括锚点a、正样本p和负样本n。

5.根据权利要求4所述的方法，其特征在于，所述利用弱监督训练数据集并通过全局难样本挖掘所构建的三元组损失来对所述网络框架进行训练，包括：

在每个训练的epoch中，首先记录下所有数据在当前网络参数下的特征表示；

然后在索引图像集中随机选择一个样本a，在和它GPS位置信息相近的所有样本中，找到与a特征表示间距离最小的样本作为其最好的潜在正样本p；之后在和a的GPS位置相距较大的所有样本中，找到与a特征表示间距离最小的样本作为较难的负样本n；则三元组损失函数表示如下：

L＝max(d_a,p-d_a,n+m,0)

其中m是一个正数，规定了锚点样本分别与其正负样本间距离差异的最小范围，上式只是一个索引图像所提供的损失，当所有索引图像的损失都被用来更新网络参数后，当前epoch结束，进入下一个epoch；直到前后两个epoch中损失的累加和的变化小于阈值或达到最大epoch时，训练过程结束。

6.一种基于胶囊网络的鲁棒场景识别系统，其特征在于，所述系统包括：

特征识别模块，用于将原始图片通过残差网络得到特征图；

编码模块，用于将通过所述残差网络得到的所述特征图输入到胶囊层中编码空间关系，首先将输入转换为向量神经元，并在不同胶囊层间通过动态路由算法最终编码得到整幅图像的低维向量表示，获得网络框架；

训练模块，用于利用弱监督训练数据集并通过全局难样本挖掘所构建的三元组损失来对所述网络框架进行训练，以确定所述网络框架的参数，以利用所述训练好的网络框架进行场景识别。

7.根据权利要求6所述的系统，其特征在于，所述胶囊层包括初始胶囊层和数字胶囊层，所述编码模块，用于将得到的所述特征图输入到胶囊层中编码空间关系，最终得到整幅图像的低维向量表示，包括：

所述编码模块，具体还用于：

利用所述初始胶囊层，对得到的所述特征图进行卷积操作，将输入转换为向量神经元；

利用所述数字胶囊层，对所述卷积操作后的向量神经元通过动态路由算法最终编码得到整幅图像的低维向量表示。