[发明专利]基于时空运动和特征融合的足迹图像检索方法

权利要求书

1.一种基于时空运动和特征融合的足迹图像检索方法，其特征是按照以下步骤进行的：

步骤1：构建训练集和测试集；

步骤1.1：采集任意测试对象在某一个行走速度下连续的一幅成趟足迹图像；

步骤1.2：将所述成趟足迹图像分别进行伪彩化以及去噪处理，得到处理后的一个成趟足迹图像样本；

步骤1.3：将所述成趟足迹图像样本中的每个足迹图像按照帧序列依次划分，从而得到足迹序列样本集X＝{x_k|k＝1,2,3,···,K}；x_k表示第k帧足迹序列样本；1≤k≤K；K表示成趟足迹图像样本中的足迹总数；

步骤1.4：为所述足迹序列样本集中的各个足迹序列样本分别定义标签，所述标签包含ID信息和序号信息；

步骤1.5：重复步骤1.1-步骤1.4，从而采集若干个测试对象在不同的行走速度下连续的多幅成趟足迹图像并进行相应的处理，从而构成足迹图像数据集；

步骤1.6：将足迹图像数据集划分为测试集和训练集，并将所述测试集再分为测试查询集以及测试底库集；

步骤2：建立时空运动和特征融合的成趟足迹图像检索模型，所述成趟足迹图像检索模型是由预处理层、空间特征提取模块、特征融合模块、以及时序特征提取模块组成；

步骤2.1：所述预处理层对所述足迹序列样本集X进行尺寸重置处理，得到包含多尺度特征的足迹序列样本集X′；

步骤2.2：所述预处理层利用式(1)对包含多尺度特征的足迹序列样本集X′进行归一化处理，得到归一化后的足迹序列样本集X″；

式(1)中，Image(k′)表示第k帧包含多尺度特征的足迹序列样本；Mean表示包含多尺度特征的足迹序列样本集X′的均值；std表示包含多尺度特征的足迹序列样本集X′的方差；Image(k″)表示归一化后的第k帧足迹序列样本；

步骤2.3：建立由M层小卷积核的卷积神经网络组成的空间特征提取模块，任意第m层小卷积核的卷积神经网络依次包括：第m卷积层、第m激活层、第m池化层，其中，第2层小卷积核的卷积神经网络在其相应的卷积层和激活层之间还设置有批归一化层；M的取值范围为[5,10]；

步骤2.3.1：所述空间特征提取模块中的所有卷积层均使用Xavier方法进行初始化权值；

步骤2.3.2：利用式(2)得到第m卷积层的输出结果Z_m：

Z_m＝W_m*X_m+B_m                              (2)

式(2)中，X_m为第m卷积层的步长S_m下待卷积部分的输入图像；B_m为第m卷积层的步长S_m下的偏置，W_m为第m卷积层的步长S_m下的共享权重；

步骤2.3.3：利用式(3)得到第m卷积层的输出尺寸Y_m：

式(3)中，S_m为第m卷积层的步长，K_m为第m卷积层的卷积核大小，P_m为第m卷积层的填充像素数，C_m为第m卷积层的输出通道，H_m为第m卷积层的高度，R_m为第m卷积层的宽度；

步骤2.3.4：所述空间特征提取模块对归一化后的足迹序列样本集X″进行处理并输出空间特征序列{F₁,F₂,···,F_k,···,F_K}、F_k表示归一化后的第k帧足迹序列样本Image(k″)经过所述空间特征提取模块的处理后得到的第k帧足迹特征图谱；

步骤2.4：构建由K个特征掩模操作层和K帧全连接层组成的特征融合模块；

步骤2.4.1：第k个特征掩模操作层在第M卷积层的输出通道C_M上对第k帧足迹特征图谱F_k进行叠加操作，得到叠加后的第k帧特征图谱F′_k；

步骤2.4.2：所述第k个特征掩模操作层对所述叠加后的第k帧特征图谱F′_k进行像素点值的求和后再取平均值，从而得擦除阈值，并对在叠加后的第k帧特征图谱F′_k中大于所述擦除阈值的像素进行擦除操作，从而得到第k帧特征掩模特征图谱F″_k；

步骤2.4.3：所述第k个特征掩模操作层对所述叠加后的第k帧特征图谱F′_k和第k帧特征掩模特征图谱F″_k进行叠加，得到第k帧特征融合图谱

步骤2.4.4：对所述第k帧特征融合图谱进行降维处理，得到第k帧特征融合图谱所对应的全连接层vector_k；

步骤2.4.5：对第k帧的全连接层vector_k平均切成I片，从而得到I个特征向量，其中第i个特征vector_ik，I的取值范围为[4,8]；

步骤2.4.6：对第k帧的全连接层的第i个特征向量vector_ik赋予权重w_ik，并利用式(4)得到特征融合后的第k帧全连接层LastVector_k：

步骤2.4.7：重复步骤2.4.1-步骤2.4.6，从而得到特征融合后的K帧全连接层{LastVector_k|k＝1,2,…,K}；

步骤2.5：构建由ConvLSTM卷积长短期记忆网络和全连接层构成的时序特征提取模块；

步骤2.5.1：对所述特征融合后的K帧全连接层{LastVector_k|k＝1,2,…,K}进行升维操作，得到升维后的网络输入向量；

步骤2.5.2：使用高斯分布对ConvLSTM卷积长短期记忆网络进行初始化权值；

步骤2.5.3：利用初始化后的ConvLSTM卷积长短期记忆网络对升维后的网络输入向量进行序列特征信息的提取，从而得到一个时序特征图谱F″′；

步骤2.5.4：对时序特征图谱F″′进行降维处理，从而得到全连接层vector；

步骤2.5.5：在所述全连接层vector后连接一个与所述足迹图像数据集中所有标签中ID信息的种类数维度A相同的全连接输出层vector′；

步骤2.5.6：将所述全连接输出层vector′与SoftMax函数相连接，从而构成所述全连接层并相应输出一个概率集合{p₀,p₁,…,p_a,…,p_A-1}；从所述概率集合中选出最大值p_max所对应的下标max作为归一化后的第k帧足迹序列样本Image(k″)所识别出的标签；

步骤2.5.7：将所述概率集合反向传播至成趟足迹图像检索模型中，并配合自适应可变的学习率L_Rate和交叉熵损失Cross Entropy，从而更新共享权重W_m、权重w_ik和偏置项B_m，得到最优趟足迹图像检索模型，用于实现对不同足迹图像所对应ID信息的检索结果。