[发明专利]一种光流神经网络训练方法及装置

权利要求书

1.一种光流神经网络训练方法，其特征在于，所述方法包括：

将样本图像帧和所述样本图像帧的相邻图像帧输入第一神经网络和第二神经网络，得到所述第一神经网络输出的第一稠密光流和所述第二神经网络输出的第二稠密光流，所述第一神经网络为预先经过训练的光流神经网络，所述第二神经网络为模型复杂度低于所述第一神经网络的光流神经网络；

基于所述第一稠密光流与所述第二稠密光流之间的偏差，调整所述第二神经网络的网络参数；

所述第一稠密光流为所述第一神经网络在多个不同的降采样倍率上输出的多个稠密光流；

所述第二稠密光流为所述第二神经网络在所述多个不同的降采样倍率上输出的多个稠密光流；

所述基于所述第一稠密光流与所述第二稠密光流之间的偏差，调整所述第二神经网络的网络参数，包括：

针对所述多个不同的降采样倍率中的每个降采样倍率，基于所述第一稠密光流中在该降采样倍率下输出的稠密光流，与所述第二稠密光流中在该降采样倍率下输出的稠密光流之间的偏差，调整所述第二神经网络的网络参数。

2.根据权利要求1所述的方法，其特征在于，在所述基于所述第一稠密光流与所述第二稠密光流之间的偏差，调整所述第二神经网络的网络参数之前，所述方法还包括：

针对所述样本图像帧中的每个像素点，计算所述第一稠密光流中该像素点的光流值，与所述第二稠密光流中该像素点的光流值的差值，作为该像素点的光流差值；

将所述样本图像帧中所有像素点的光流差值累加，得到所述第一稠密光流与所述第二稠密光流之间的偏差。

3.根据权利要求1所述的方法，其特征在于，所述基于所述第一稠密光流与所述第二稠密光流之间的偏差，调整所述第二神经网络的网络参数，包括：

基于所述第一稠密光流与所述第二稠密光流之间的偏差，以及所述第二稠密光流与所述样本图像帧的标注稠密光流之间的损失，调整所述第二神经网络的网络参数。

4.根据权利要求1所述的方法，其特征在于，所述第一神经网络为多个预先经过训练的光流神经网络；

所述基于所述第一稠密光流与所述第二稠密光流之间的偏差，调整所述第二神经网络的网络参数，包括：

将多个所述第一神经网络输出的所述第一稠密光流进行加权平均，得到平均稠密光流；

基于所述平均稠密光流与所述第二稠密光流之间的偏差，调整所述第二神经网络的网络参数。

5.根据权利要求1所述的方法，其特征在于，所述第二神经网络的深度小于所述第一神经网络的深度，所述第二神经网络的宽度小于所述第一神经网络的宽度。

6.一种光流神经网络训练装置，其特征在于，所述装置包括：

样本输入模块，用于将样本图像帧和所述样本图像帧的相邻图像帧输入第一神经网络和第二神经网络，得到所述第一神经网络输出的第一稠密光流和所述第二神经网络输出的第二稠密光流，所述第一神经网络为预先经过训练的光流神经网络，所述第二神经网络为模型复杂度低于所述第一神经网络的光流神经网络；

参数调整模块，用于基于所述第一稠密光流与所述第二稠密光流之间的偏差，调整所述第二神经网络的网络参数；

所述第一稠密光流为所述第一神经网络在多个不同的降采样倍率上输出的多个稠密光流；

所述第二稠密光流为所述第二神经网络在所述多个不同的降采样倍率上输出的多个稠密光流；

所述参数调整模块，具体用于针对所述多个不同的降采样倍率中的每个降采样倍率，基于所述第一稠密光流中在该降采样倍率下输出的稠密光流，与所述第二稠密光流中在该降采样倍率下输出的稠密光流之间的偏差，调整所述第二神经网络的网络参数。

7.根据权利要求6所述的装置，其特征在于，所述参数调整模块，还用于在所述基于所述第一稠密光流与所述第二稠密光流之间的偏差，调整所述第二神经网络的网络参数之前，针对所述样本图像帧中的每个像素点，计算所述第一稠密光流中该像素点的光流值，与所述第二稠密光流中该像素点的光流值的差值，作为该像素点的光流差值；

将所述样本图像帧中所有像素点的光流差值累加，得到所述第一稠密光流与所述第二稠密光流之间的偏差。