[发明专利]面向无人驾驶的前背景编解码器网络目标提取方法

权利要求书

1.面向无人驾驶的前背景编解码器网络目标提取方法，其特征在于，该方法首先获取无人驾驶场景的视频数据集合，然后进行以下操作：

步骤(1).对视频采样，获得帧序列，构建包括编码器、非局部模块和解码器的前景网络和背景网络；具体方法是：

(1-1).对视频进行均匀采样，获得对应的m帧RGB帧图像集合帧图像的宽为w，高为h，通道数为3；

(1-2).构建前景网络与背景网络，这两个网络是具有相同结构的孪生网络，由编码器、非局部模块和解码器级联组成；

所述的编码器由残差网络构成，去除残差网络最后的全局池化层和全连接层，且通过空洞卷积放大网络中间层的特征尺寸，其输入为帧图像，输出为特征表示；

所述的非局部模块由多种矩阵操作组成，包括矩阵点积和逐元素乘积，输入为编码器产生的特征表示，输出为加权后的特征表示；

所述的解码器由上采样与残差网络的基础模块组成，输入为非局部模块产生的加权特征表示，输出为帧图像每一像素的类别概率，即网络输出的预测结果；

步骤(2).依次处理帧图像，经过扩张和侵蚀处理获得放大和缩小的目标掩膜，并据此分别得到前景帧图像和背景帧图像；

步骤(3).将前景帧图像和背景帧图像分别输入前景网络和背景网络的编码器，获得前景特征表示和背景特征表示；

步骤(4).将前景特征表示和背景特征表示分别输入前景网络和背景网络的非局部模块，获得对应的加权特征表示；具体方法是：

(4-1).将视频首帧的前景帧图像F₁^F和背景帧图像F₁^B按照步骤(3)的处理分别获得前景特征表示和背景特征表示

(4-2).将视频首帧经过前景网络获得的最后一个特征表示与当前第i张帧图像经过前景网络获得的最后一个特征表示并列输入到非局部模块，通过点积与加权操作获得加权特征表示y_k：f(a_k,b_l)＝θ(a_k)^Tφ(b_l)；其中a对应特征表示b对应特征表示k、l是特征表示在高度和宽度上的下标；y为非局部模块的输出张量，其维度与特征表示相同；Z为归一化常数，函数θ(·)、φ(·)、g(·)均表示单个卷积层，并将前景网络获得的加权特征表示记为y^F，其维度与相同；

采用相同操作，背景网络获得加权特征表示y^B，其维度与相同；

步骤(5).将加权特征表示分别输入前景网络和背景网络的解码器，获得对应的预测掩膜并通过加权求和获得视频目标提取结果。