[发明专利]基于神经辐射场的行人重识别三维数据集构建方法和装置

说明书

本发明公开了一种基于神经辐射场的行人重识别三维数据集构建方法和装置，包括如下步骤：S1：通过一组不同视角的相机对待录入行人进行图像采集；S2：通过场景中的相机射线，采样生成一个三维空间位置点集，将所述三维空间位置点集所对应相机的观察方向转换为三维笛卡尔单位向量；S3：将所述三维空间位置点集及其转换为三维笛卡尔单位向量的观察方向输入多层感知器，输出对应的密度和颜色；本发明一种基于神经辐射场的行人重识别三维数据集构建方法和装置，给出了一种全新的行人重识别数据集构建的方法，提供了数据集构建的新思路。相比于传统的数据集构建方法，通过多设备所采集的图像和空间位置，获取数据方式更加直接明了。

技术领域

本发明涉及行人重识别技术领域，特别涉及一种基于神经辐射场的行人重识别三维数据集构建方法和装置。

背景技术

行人重识别亦称行人再识别，被广泛认为是图像检索的一个子问题。其利用计算机视觉技术，判断视频和图像中是否存在特定行人，且在给定行人图像的情况下，对该行人的图像进行跨设备检索。行人重识别技术可与多种技术相结合，并应用于安保、视频监控、犯人监测等方向。

行人重识别技术存在许多的优势，如利用步态、身体特征和衣着等条件，更加全面地识别人物，且可以在多摄像设备网络下，跨设备对行人进行检索。无论是单独使用还是与其他技术相结合，都能发挥很大的价值，但同时也带来了巨大挑战，如易受穿着、遮挡、姿态和视角等影响。

在采集行人重识别数据时，需要考虑的因素有：数据采集需跨设备；公开的数据集规模远小于实际需求；影响识别的因素众多，处理难度大；监控涉及数据和行人的隐私问题等。都对行人重识别提出了挑战和研究重点。

早期数据集相比于实际的监控网络，数据集中行人和摄像头的数目少，数据量小；时间跨度短，光照条件变化少，缺少不同光照下的数据；场景单一，场景覆盖范围小；更有人工标注费用高、数据采集繁琐困难等不足。数据质量亟待提升，需要更加准确的方法去构建数据集。

发明内容

本发明提供了一种基于神经辐射场的行人重识别三维数据集构建方法和装置，提供数据录入方法的新思路：通过输入表示五维场景的参数，优化并渲染一组图像渲染一组捕获图像；同时通过对方法的改进，可生成不同的渲染图像，丰富和完善数据集，用以应对数据规模小、数据采集难的挑战。

为实现上述目的，本发明提供如下技术方案：

本发明公开了一种基于神经辐射场的行人重识别三维数据集构建方法，包括如下步骤：

S1：通过一组不同视角的相机对待录入行人进行图像采集；

S2：通过场景中的相机射线，采样生成一个三维空间位置点集，将所述三维空间位置点集所对应相机的观察方向转换为三维笛卡尔单位向量；

S3：将所述三维空间位置点集及其转换为三维笛卡尔单位向量的观察方向输入多层感知器，输出对应的密度和颜色；

S4：使用神经体渲染方法，将经过每个像素的射线颜色累积到步骤S1中采集的图像中，子步骤如下：

S41：用连续积分定义相机射线的累计透明率，并据此生成射线颜色的定义；

S42：采用求积法对射线颜色进行估计，将射线的近边界到远边界划分为N个间隔均匀的区间，并用分层抽样的方法均匀选取离散点；

S5：引用位置编码、多层级采样以提高步骤S4中射线颜色累计所生成图像的质量，具体为：

S51：引入位置编码：对点的空间位置进行编码，将输入神经网络的三维向量转化为指定维数，增加生成图像的精度；

S52：引入多层级采样：首先采用分层抽样采集一组点，并对神经网络进行初步评估，基于这个初步评估的神经网络的输出，生成概率密度函数，然后沿着每条射线以该概率密度函数进行采集，再结合两次采样的点，对神经网络进行更精确的评估；

S6：将生成图像打上标签，存入数据集。