[发明专利]一种基于正交损失函数的多任务分类网络的构建方法有效
申请号: | 201911124037.4 | 申请日: | 2019-11-18 |
公开(公告)号: | CN110929624B | 公开(公告)日: | 2021-09-14 |
发明(设计)人: | 何贵青;敖振;霍胤丞;纪佳琪 | 申请(专利权)人: | 西北工业大学 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/62;G06N3/04;G06N3/08;G06N20/00 |
代理公司: | 西北工业大学专利中心 61204 | 代理人: | 金凤 |
地址: | 710072 *** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 正交 损失 函数 任务 分类 网络 构建 方法 | ||
本发明提供了一种基于正交损失函数的多任务分类网络的构建方法,构建的多任务分类网络模拟了人类学习过程,用深度卷积神经网络作为隐藏层模拟人的大脑进行深度特征提取,使用树分类器作为任务相关的输出层进行递进式分类,将识别过程构成不同的学习任务。本发明使不同任务得到的特征更加符合各自的需求,使分类器在完成粗分类任务时使同一粗类的深度特征更加聚合,而在完成细分类任务时,不同细类的深度特征更加离散,对不同分类任务的任务输出层特征进行区分,使得不同层级的分类器得到更加匹配不同分类任务的特征,去掉无用特征,从而提高分类准确率。
技术领域
本发明涉及图像分类领域,尤其涉及一种多任务分类构建方法。
背景技术
近年来,拍照识图越来越广泛应用于野外探索和日常生活中。这得益于深度学习的发展。当前在特征提取表现最好的工具便是深度卷积神经网络。正如大家所知,深度卷积神经网络不仅可以在浅层提取边缘信息,并且随着层数的加深特征的语义信息会越来越抽象,所得到的特征也更加接近人类的认知行为。
随后,多任务分类网络也逐渐进入了人们的视线。多任务分类网络不同任务之间相互辅助,同一个网络的不同任务同时训练,并且每个不同的任务有各自独立的损失函数。仿照人类学习经验,在识别大千世界成千上万个目标的时候,是一个循序渐进,由易到难的过程。在孩童时期,人类只能识别出所有目标的粗分类,例如,鸟类、汽车、植物。随着大脑系统的成熟,可能在学习或生活过程中,接触到的种类会逐渐细化,例如,鸟类有鹦鹉、麻雀等,汽车里有bus或者轿车。多任务网络将识别粗类看做第一层级任务,在这一级任务下又有很多识别细类的子任务。因此,早期在完成识别粗类的任务中学到的知识,也可以使用到识别细类这个新任务中。
但是人类大脑中进行分类的结构往往没有想象中的简单,在利用多任务分类网络进行多任务分类时,由于隐藏层参数利用多任务的各个损失函数共同学习,所以提取的特征同时也是用于多分类任务复用的。但是对于不同的分类任务,它们所需要的特征并不完全一致。例如在进行粗分类时,方向盘和轮子的信息会帮助网络有效地将目标识别到汽车这一类别。但是在进行细分类时,这些共有特征可能会更偏向于将SUV和面包车分到同一类别,而识别细类的任务却是将这两个类别分开,因此期望网络能更加关注它们的特有特征,例如外观、形状。但是由于隐藏层参数共享,提取到的特征存在交叉,所以,多任务分类网络在执行不同的分类任务的过程中缺少了对提取出的共有特征和特有特征进行区分。
发明内容
为了克服现有技术的不足,本发明提供一种基于正交损失函数的多任务分类网络的构建方法。本发明通过在多任务分类网络模型下提出了一种正交损失函数来对共有特征和特有特征进行区分,该损失函数利用特征的空间相似度进行损失度量,使每个分类任务得到的特征更加符合各自分类任务的需求,提高特征的可分性,有效地抑制了无用特征对分类任务的干扰。本发明所构建的多任务分类网络模拟了人类学习过程,用深度卷积神经网络作为隐藏层模拟人的大脑进行深度特征提取,使用树分类器作为任务相关的输出层进行递进式分类,将从难倒易、相互关联的识别过程构成不同的学习任务。其中正交损失函数在反向传播时可以指导多任务分类网络对树分类器不同层级的特征进行区分,使网络在参数更新的过程中,根据不同任务需求,学习更加符合各自任务的特征。
本发明解决其技术问题所采用的技术方案包括以下步骤:
步骤一:构建层级标签树
层级标签树的结构分为两层,第一层标签为图像的粗类标签,根据图像所属物种划分,第二层标签为图像的细类标签,根据图像属于哪一物种的子类进行定义;
步骤二:搭建深度卷积神经网络作为特征提取模块;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西北工业大学,未经西北工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911124037.4/2.html,转载请声明来源钻瓜专利网。