[发明专利]一种快速移动目标的识别追踪方法及系统

权利要求书

1.一种快速移动目标的识别追踪方法，其特征在于，包括以下步骤：

S1.获取帧数据和事件数据：分别设置传统相机和事件相机去采集帧数据和事件数据；

S2.将所述事件数据转换成事件帧：将异步的所述事件数据通过动态重建的方法将离散的数据流转换成事件帧的形式；

S3.判断所述事件帧数据是否是初始帧：如果是初始帧则进入步骤S4，如果不是初始帧的则进入步骤S6；

S4.识别目标：对所述传统相机采集的数据进行目标识别，识别后的目标框输出给步骤S5；

S5.初始化追踪框：利用目标识别的结果对需要追踪的目标进行初始化，当识别的目标和预设定的目标一致时，利用识别的结果对追踪框进行初始化，进入步骤S7；

S6.提取搜素图像特征：利用图像搜素提取网络对搜素图像帧进行特征提取，并将提取到的搜素图像特征输出给步骤S10；

S7.提取目标图像特征：利用图像目标提取网络对目标图像帧进行特征提取，并从事件图像中抠出事件目标图像，将所述事件目标图像输入给步骤S9；

S8.提取搜素事件特征：利用事件搜素提取网络对搜素事件帧进行特征提取，并将提取到的搜素事件特征输出给步骤S10；

S9.提取目标事件特征：利用事件目标提取网络对目标事件帧进行特征提取，并将提取到的目标事件特征输出给步骤S11；

S10.搜素特征融合：对提取到的所述图像特征和所述搜素事件特征进行融合，并将融合后的搜素特征输入到步骤S11中；

S11.目标特征融合：对提取到的所述目标图像特征和所述目标事件特征进行融合，并将融合后的目标特征输入到步骤S12中；

S12.计算对比损失函数：通过计算融合后的搜素特征和融合后的目标特征之间的损失函数值，获取到最高概率的追踪后续目标；

S13.结果输出：从步骤S12中提取最高概率的候选结果作为将快速移动的目标追踪的结果进行输出，输出为当前帧的追踪结果，并重复追踪步骤。

2.根据权利要求1所述的快速移动目标的识别追踪方法，其特征在于，在步骤S1中，所述传统相机采集像素的绝对值，而所述事件相机只采集像素的相对变换值。

3.根据权利要求1所述的快速移动目标的识别追踪方法，其特征在于，其中，步骤S11和S12中的事件特征和图像特征的融合方法为：采用权重学习的方法进行特征融合，在不同场景中为特征融合分配不同的权重，当检测追踪的目标速度较快的时候，为所述事件数据分配较大的权重，当检测追踪的目标速度较慢的时候，为图像数据分配较大的权重，权重的调节与目标的运动速度成正相关，总的权重比例相加等于一。

4.根据权利要求1所述的快速移动目标的识别追踪方法，其特征在于，其中，在步骤S12中，事件数据的动态重建包括：通过利用结构相似性来评估相邻帧的运动情况，当目标运动较快时候，截取较短时间段的事件数据来进行重建，当目标运动较慢时，截取较长时间的事件数据进行重建，得到清晰的事件图数据。

5.根据权利要求1所述的快速移动目标的识别追踪方法，其特征在于，其中，所述事件目标提取网络和所述事件搜素网络采用事件数据集进行训练，所述图像目标提取网络和所述图像搜素提取网络采用图像数据集进行训练，分别对四组网络提取特征后，然后可以进行融合，针对所述图像目标提取网络进行目标识别训练，训练好的网络用于进行目标识别。

6.一种快速移动目标的识别追踪系统，其特征在于，包括：

传统相机和事件相机，分别用于采集帧数据和事件数据，传统相机采集像素的绝对值，而事件相机只采集像素的相对变换值；

图像目标提取网络，进行目标识别训练，以及对目标图像帧进行特征提取；

事件目标提取网络，用于对目标事件帧进行特征提取；

图像搜素提取网络，用于对搜素图像帧进行特征提取；

事件搜素提取网络，用于对搜素事件帧进行特征提取；以及

特征融合网络，用于将所述传统相机的图像特征和所述事件相机数据特征进行特征融合。