[发明专利]一种基于生成式对抗网络的草图补全与识别方法和装置有效
申请号: | 201910294373.7 | 申请日: | 2019-04-12 |
公开(公告)号: | CN110147797B | 公开(公告)日: | 2021-06-01 |
发明(设计)人: | 马翠霞;刘舫;邓小明;王宏安 | 申请(专利权)人: | 中国科学院软件研究所 |
主分类号: | G06K9/46 | 分类号: | G06K9/46;G06K9/62;G06T7/13 |
代理公司: | 北京君尚知识产权代理有限公司 11200 | 代理人: | 邱晓锋 |
地址: | 100190 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 生成 对抗 网络 草图 识别 方法 装置 | ||
本发明公开一种基于生成式对抗网络的草图补全与识别方法和装置。本发明包括:(1)基于条件生成式对抗神经网络,针对草图相对于彩色图片语义信息稀疏的特点,利用级联策略对生成式对抗神经网络进行改进;(2)扩展草图补全网络的类别通用性,设置草图识别任务作为辅助任务,同时在网络结构中增加草图识别辅助网络;(3)将草图补全方法应用于残缺草图的识别任务、基于残缺草图的图像检索任务和草图场景编辑任务中;(6)集成草图补全方法形成草图补全应用平台,支持包括交互式草图补全、草图补全与识别、草图场景分割与补全、交互式草图补全辅助等应用功能,能够在PC、手机、平板电脑、电子白板等多种设备和终端上进行应用。
技术领域
本发明属于计算机视觉领域,具体涉及一种基于生成式对抗网络(GenerativeAdversial Network,GAN)的草图补全与识别方法和装置。
背景技术
草图是一种能直观地表达抽象概念与用户意图的自然符号(参考文献:Liu Y J,Ma C,Zhao G,et al.An Interactive SpiralTape Video Summarization[J].IEEETransactions on Multimedia,2016,18(7):1269-1282.),在多媒体组织与人机交互领域具有广泛的应用。近年来,草图识别(sketch recognition)、基于草图的图像识别(sketch-based image retrieval,SBIR)、基于草图的图像生成(sketch-based image generation,SBIG)、草图解析(sketch parsing)、草图视频摘要(sketch-based video summerization)等草图相关技术的研究都取得了巨大的进展。特别的,随着深度学习技术的引进,几个重要的草图数据库得以建立(如TU-Berlin、The Sketchy Database、The SketchyScene、Fine-Grained SBIR Datasets等草图数据库),基于大数据的草图基础技术研究得到了进一步发展。
目前的草图相关基础技术和应用技术都建立在输入草图具有完整性的前提下,完整的草图包含了视觉感知上闭合的轮廓,用一系列稀疏的线条来描述物体的关键形状特征。近十年来草图识别算法(参考文献:J.Y.He,X.Wu,Y.G.Jiang,B.Zhao,and Q.Peng,“Sketch recognition with deep visual-sequential fusion model,”in ACM onMultimedia Conference,2017,pp.448–456.)与草图分类技术(参考文献:H.Zhang,S.Liu,C.Zhang,W.Ren,R.Wang,and X.Cao,“Sketchnet:Sketch classification with webimages,”in IEEE Conference on Computer Vision and Pattern Recognition,2016,pp.1105–1113.)取得了巨大的进展,但对于残缺草图的识别问题一直未得到关注与解决。
在手绘草图的实际应用场景中通常存在不完整草图(或称残缺草图),例如同一草图场景中多个草图目标互相重叠、手绘草图编辑过程的中间结果、经目标检测和目标分割(object detection、object segmentation)后产生的结果草图,通常都是不完整的。残缺草图的存在给草图相关的应用带来了很大的局限性,目前的草图相关算法都是为完整的草图设计,将残缺草图直接应用于草图相关应用,特别是草图识别算法,会大大降低现有草图识别算法的准确率。如何对残缺草图进行预处理,使其适用于当前的各种草图相关应用,特别地,如何有效地提高残缺草图存在的情况下,草图识别算法的精度,已经成为扩大草图应用场景、进一步深入草图相关研究的迫切需求。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院软件研究所,未经中国科学院软件研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910294373.7/2.html,转载请声明来源钻瓜专利网。
- 上一篇:图像匹配方法及装置
- 下一篇:一种可用于网络信息检测的语义相似度学习方法