[发明专利]一种RGB-D跨模态行人再识别深度网络

说明书

本发明公开了一种RGB‑D跨模态行人再识别深度网络，属于RGB‑D跨模态行人再识别领域。包括浅层特征提取器和级联增强网络，所述的浅层特征提取器输出端和级联增强网络的输入端连接，浅层特征提取器由Resnet50的初始层和Block1组成；级联增强网络在Resnet50的Block2‑4的基础之上，本发明在多个尺度的特征后都接入了全局增强单元，从而获取多个尺度的全局上下文信息。通过残差连接将强化后的特征与原始特征级联起来输入到下一个尺度的特征提取Block中。可以迭代处理，得到下一层的特征，并提供更详细的语义信息。级联的特征增强网络通过层层递进，逐层加强全局特征的方式，获取了更加丰富的全局空间信息，提升全局特征的表征能力，进而使特征对于图像的背景噪声具有较强的鲁棒性。

技术领域

本发明涉及一种RGB-D跨模态行人再识别领域，具体是一种RGB-D跨模态行人再识别深度网络。

背景技术

RGB-D跨模态行人再识别旨在RGB模态与深度模态的行人图像间进行跨模态的行人的匹配。杂乱的背景、不同模态间巨大的差异均使跨模态的识别颇具困难。行人重识别是计算机视觉的热门研究方向，其对智能安防、视频监控的发展有着重大意义.目前大部分工作主要集中在研究基于可见光的行人重识别，然而可见光摄像头无法在光线不足的黑夜中正常使用，而新型摄像头能够随机切换红外模式进行24小时视频监控。

因此，目前仅有很少的工作关注于该研究任务。具体来说，有些文献提取手工设计的特征来识别行人，缺乏抽象语义表达。还有些文献提出了RGB-D跨模态的深度网络，利用蒸馏学习技术约束RGB的图像的特征与其一一对应的深度图的特征尽可能的相似，从而减小模态间的差异。尽管已经取得了良好的实验结果，但是它忽略了复杂的图像背景对网络的影响。

发明内容

对于现有的产生的问题，本发明的目的在于提供一种RGB-D跨模态行人再识别深度网络，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种RGB-D跨模态行人再识别深度网络，包括浅层特征提取器和级联增强网络，所述的浅层特征提取器输出端和级联增强网络的输入端连接，浅层特征提取器由Resnet50的初始层和Block1组成；

级联增强网络包括Block2、Block3和Block4，Block2和Block3之间设有全局增强单元，Block3和Block4之间也设有全局增强单元，级联增强网络在Resnet50的Block2-4的基础之上，加入了多个全局增强单元来提升特征的全局上下文信息表达能力；Resnet50的不同Block用于提取不同尺度的特征；不同尺度的特征包含了不同的感受野和不同深度的语义信息。

作为本发明进一步的方案：所述的全局增强单元为Non_local网络，Non_local网络能够获取任意两个位置的空间关系，并在每一个位置上嵌入所有位置对该位置的影响，从而通过使用空间上下文来提升特征的全局表达。

作为本发明进一步的方案：所述的浅层特征提取器输入端是RGB与深度图像，且其在两个模态间权重不共享，从而提取两个模态间特有的特征。

作为本发明进一步的方案：所述的级联增强网络的输入是浅层特征提取器的输出，级联增强网络在两个模态间参数共享，从而获取两个模态间共有的深度特征。