[发明专利]基于可联合实现语义分割和景深估计的网络模型的装置

权利要求书

1.一种基于可联合实现语义分割和景深估计的网络模型的装置，其特征在于，所述装置包括可联合实现语义分割和景深估计的网络模型，所述模型包括：

特征共享模块，其被配置为将输入图像通过卷积神经网络进行特征提取，得到共享特征；所述特征共享模块采用编码-解码结构，包括编码单元和解码单元，所述编码单元的输出作为所述解码单元的输入；所述编码单元包括多个编码块以及与编码块间隔串接的下采样块；所述解码单元包括与编码块对应的多个解码块以及与下采样块对应的多个上采样块，所述解码块与所述上采样块间隔串接，每个所述编码块与其对应的解码块形成编解码对；

多任务子网络，其被配置为分别根据各任务目标，基于所述共享特征进行图像处理；所述任务目标包括图像语义分割、图像景深估计；

所述多任务子网络包括多个结构相同的任务子网络以供处理不同任务目标，每个所述任务子网络结构相同，包括：特征筛选模块、注意力集中模块和预测模块；

所述特征筛选模块被配置为根据各任务目标，从共享特征筛选出与任务相关的特征，得到对应的筛选特征；

所述注意力集中模块被配置为提升所述筛选特征与任务目标的相关性，得到集中注意力特征；

所述预测模块被配置为对所述集中注意力特征进行两个3x3卷积后输出各任务目标的处理结果；

其中，

所述特征筛选模块包括与所述编解码对相对应的多个特征筛选单元，以及与所述特征筛选单元间隔串接的上采样块；每个所述特征筛选单元的输入来源于与其对应的编码块和解码块的输出特征以及前一特征筛选单元输出上采样后的结果；

所述特征筛选单元通过筛选块学习筛选掩码进行特征筛选，其输出表示为：

其中，k为特征筛选单元的编号，N为特征筛选单元的数量，t为任务编号，为任务t在第k特征筛选单元中学习到筛选掩码， 为任务t在第k特征筛选单元的筛选块，为任务t在第k特征筛选单元中的输出；

为第i编码块的输出，为第j解码块的输出，第i编码块与第N+1-i解码块构成编解码对；

表示像素级相乘，©表示连接；每一个特征筛选掩码对应于每一个共享模块中的解码特征，特定于任务的精细特征主要通过特征筛选掩码和解码特征进行像素级的相乘，从而筛选出精细化的特征；

所述筛选块包括卷积块以及与卷积块串接的第一激活函数，所述卷积块包括多个拼接的卷积单元，所述卷积单元包括依次连接的标准卷积、批标准化和第二激活函数；

所述注意力集中模块提升所述筛选特征与任务目标的相关性，包括：

将所述筛选特征分别进行两个分支的标准卷积，得到第一提升特征和第二提升特征；

将所述第一提升特征与可学习的向量进行矩阵相乘并经softmax进行逻辑回归，得到归一化因子；

将所述第二提升特征与所述归一化因子矩阵相乘后进行标准卷积，得到第三提升特征；

将所述第三提升特征与所述筛选特征进行加性融合得到所述集中注意力特征。

2.一种用于权利要求1所述的装置中的模型的训练方法，其特征在于，包括：

根据图像识别需求，获取数据集，所述数据集中包括多张含有识别对象的图像，每个图像携带标签；

对数据集按照预设比例划分为第一数据集和第二数据集；

对所述第一数据集中的图像按照预先设定的规则进行预处理，得到训练集；

将所述训练集输入待训练模型中，对模型进行训练，固定模型参数；

将第二数据集作为验证集，得到各个任务目标对应的评价指标；

利用各任务的损失函数针对评价指标计算误差，进行反向传播修正模型参数，直至模型收敛。