[发明专利]光流估计异构混合网络及其嵌入方法

权利要求书

1.一种光流估计异构混合网络，其特征在于：是将编解码网络嵌入到coarse-to-fine网络中而形成的；

所述的编解码网络，其特征匹配部分进行通道压缩而与coarse-to-fine网络的特征匹配部分输出的匹配特征进行拼接；

coarse-to-fine网络的光流估计部分的输出反馈给编解码网络；

对于特征匹配部分，其输入为两张时间连续的图片，输出则是一种可以表达两张输入图片间关系的特征，即匹配特征；

对于光流估计部分，其输入是特征匹配部分输出的匹配特征，输出则是估计的光流。

2.如权利要求1所述光流估计异构混合网络的嵌入方法，其特征在于：将编解码网络嵌入到coarse-to-fine网络中而形成混合网络；

嵌入方法包括有以下步骤，

1)、网络划分

分别将编解码网络、coarse-to-fine网络分成特征匹配部分和光流估计部分，光流估计部分以特征匹配部分输出的匹配特征为输入估计光流；

2)、通道压缩

对编解码网络的特征匹配部分各卷积层的通道数进行压缩；在嵌入前，编解码网络与coarse-to-fine网络具有相同的网络规模；

3)、网络嵌入

将编解码网络与coarse-to-fine网络的特征匹配部分输出的匹配特征，进行特征图通道维度拼接，

将coarse-to-fine网络的光流估计部分的输出反馈给编解码网络；

在网络划分步骤中，需要将2种异构网络进行重新划分，即分为特征匹配部分和光流估计部分，划分规则是基于网络各组成部分的输入和输出特征的特性进行；

对于特征匹配部分，其输入为两张时间连续的图片，输出则是一种可以表达两张输入图片间关系的特征，即匹配特征；

对于光流估计部分，其输入是特征匹配部分输出的匹配特征，输出则是估计的光流。