[发明专利]多目标跟踪方法、特征提取模型的训练方法和装置

说明书

本申请公开了一种多目标跟踪方法、特征提取模型的训练方法和装置，涉及计算机视觉领域，可用于自动驾驶。方案为：获取多个训练图像对，训练图像对包括第一目标和第二目标，将该训练图像对调整到预设尺寸后输入到特征提取模型进行训练，得到该训练图像对中的每个目标的特征以及该训练图像对中的两个目标的相似度，该特征提取模型为孪生神经网络模型，根据训练结果计算每个训练图像对的损失值，根据该多个训练图像对的损失值，对特征提取模型的参数进行调整。该方法训练得到的特征提取模型能够直接提取图像中的目标的特征，不再依赖于检测模型，且提取得到的图像特征更加准确，可以应用于后续的多目标跟踪过程中，提高了目标跟踪的准确性。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种计算机视觉领域中的多目标跟踪方法、特征提取模型的训练方法和装置，可用于自动驾驶。

背景技术

多目标跟踪是在连续的图像帧中对特定目标进行跟踪的技术，可以应用于智能监控领域，实现对特定车辆的跟踪，还可以应用于医学图像处理等领域，辅助追踪病灶。

多目标跟踪过程中的一个关键环节是多目标的数据关联，即将相邻帧间的目标的数据进行关联，数据关联采用的关联特征是否有效、鲁棒性好坏等直接影响跟踪结果的准确性。现有技术中，可以使用检测模型卷积神经网络中间层的输出作为图像特征表达，即从检测模型卷积神经网络中抽取中间层的输出作为图像特征，进而根据图像特征计算不同目标之间的相似度，根据不同目标之间的相似度完成目标关联。

但是，上述的图像特征强依赖于检测模型，一旦检测模型有所改动，可能会造成图像特征不可用。

发明内容

本申请提供了一种多目标跟踪方法、特征提取模型的训练方法和装置，可以应用在自动驾驶车辆上或者智能交通的路侧设备上。

根据第一方面，提供了一种特征提取模型的训练方法，包括：

获取多个训练图像对，所述训练图像对包括第一目标和第二目标，所述第一目标和所述第二目标是根据同一相机连续拍摄得到图像中获取的，和/或，所述第一目标和所述第二目标是根据视野上有重叠的两个不同相机在同一时刻拍摄得到的图像获取的；

将所述训练图像对调整到预设尺寸；

将所述训练图像对输入到特征提取模型进行训练，得到所述训练图像对中的每个目标的特征以及所述训练图像对中的两个目标的相似度，所述特征提取模型为孪生神经网络模型，所述特征提取模型包括两个子网，每个子网用于对所述训练图像对中的一个目标进行特征提取；

根据所述多个训练图像对的中的两个目标的相似度以及所述多个训练图像对的目标标注结果，计算每个训练图像对的损失值；

根据所述多个训练图像对的损失值，对所述特征提取模型的参数进行调整。

根据第二方面，提供了一种多目标跟踪方法，包括：

使用检测框从第一图像中截取第一目标，使用检测框从第二图像中截取第二目标，得到待识别图像对，所述待识别图像对包括所述第一目标和所述第二目标；

当所述第一图像和所述第二图像由同一相机拍摄得到的情况下，将所述待识别图像对调整到预设尺寸；

当所述第一图像和所述第二图像由不同相机拍摄得到的情况下，对所述待识别图像对进行单应变换处理或者截取处理，将处理后的所述待识别图像对调整到预设尺寸；

将预设尺寸的所述待识别图像对输入到第一方面训练得到的特征提取模型，得到所述第一目标的特征和所述第二目标的特征；

计算所述第一目标的特征和所述第二目标的特征的相似度；

根据所述相似度确定所述第一目标和所述第二目标的跟踪数据。

根据第二方面，提供了一种特征提取模型的训练装置，包括：