[发明专利]神经网络训练、移动信息测量、关键帧检测的方法及装置

说明书

本公开提供了一种神经网络训练方法及装置、移动信息测量方法及装置、关键帧检测方法及装置，在训练第一神经网络的过程中，利用了与拍摄目标样本图像的时间最接近的第一关键帧样本图像，该关键帧样本图像是能够表示拍摄设备在拍摄目标样本图像附近的时间段内所拍摄的图像的图像特征的图像。

技术领域

本公开涉及图像处理和测距技术领域，具体而言，涉及一种神经网络训练方法及装置、移动信息测量方法及装置、关键帧检测方法及装置。

背景技术

目前，在计算机视觉、机器人以及自动驾驶等应用场景中，需要根据单个摄像机拍摄的连续帧来估计摄像机的位移信息。

发明内容

本公开至少提供一种神经网络训练方法及装置、移动信息测量方法及装置、关键帧检测方法及装置。

第一方面，本公开提供了一种神经网络训练方法，包括：

从可移动设备上设置的拍摄设备所采集的视频流中，提取训练样本集合，所述训练样本集合包括多个训练样本，每个训练样本包括目标样本图像、与所述目标样本图像的拍摄时间最接近的第一关键帧样本图像、和与所述目标样本图像的拍摄时间相邻的样本图像；

针对每个训练样本中的任意两帧图像组成的测距图像对，经待训练的第一神经网络对所述测距图像对进行图像特征提取和分析处理后输出所述测距图像对所对应的测距结果信息；其中，所述测距结果信息用于表示拍摄设备从拍摄所述测距图像对中一帧图像到拍摄另一帧图像的时间段内，拍摄设备可能发生的位移信息；

基于所述多个训练样本中的所述测距图像对分别对应的测距结果信息，调整所述第一神经网络中的网络参数。

上述公开在训练第一神经网络的过程中，利用了与所述目标样本图像的拍摄时间最近的第一关键帧样本图像，该关键帧样本图像是与与其相邻的关键帧样本图像之间的图像相似度小于设定阈值的图像，因此，该关键帧样本图像是能够表示拍摄设备在拍摄目标样本图像附近的时间段内所拍摄的图像特征的图像。利用包含该关键帧样本图像的多帧图像训练得到的第一神经网络能够克服光度一致性约束造成的无法感知较大范围内的运动的缺陷，可感知可移动设备或拍摄设备在较大范围内的运动，提高确定的拍摄设备在较大范围内的位移信息的准确性。

在一种可能的实施方式中，所述基于所述多个训练样本中的所述测距图像对分别对应的测距结果信息，调整所述第一神经网络中的网络参数，包括：

根据所述多个训练样本中的所述测距图像对分别对应的测距结果信息，确定测距图像对中两帧图像之间的图像差异信息；

基于多个训练样本中的每个所述测距图像对对应的图像差异信息，调整所述待训练的第一神经网络中的网络参数。

在一种可能的实施方式中，所述经待训练的第一神经网络对所述测距图像对进行图像特征提取和分析处理后输出所述测距图像对所对应的测距结果信息，包括：

将所述测距图像对输入所述第一神经网络；

经所述第一神经网络对输入的所述测距图像对进行图像特征提取和分析处理，以输出所述测距图像对所对应的测距结果信息，所述测距结果信息包括：在测距图像对中的第一图像的坐标系下，表征该测距图像对的两帧图像之间的图像区别特征的第一遮挡掩码、在测距图像对中的第二图像的坐标系下，表征该测距图像对中两帧图像之间的图像区别特征的第二遮挡掩码、从所述第一图像到所述第二图像的第一变换图像与所述第一图像之间的第一图像相似性特征、从所述第二图像到所述第一图像的第二变换图像与所述第二图像之间的第二图像相似性特征；

所述根据所述多个训练样本中的所述测距图像对分别对应的测距结果信息，确定测距图像对中两帧图像之间的图像差异信息，包括：

针对每个测距图像对，基于该测距图像对所对应的所述第一遮挡掩码、所述第二遮挡掩码、所述第一图像相似性特征和所述第二图像相似性特征，确定该测距图像对中两帧图像之间的图像差异信息。