[发明专利]一种小样本字符与手绘草图识别方法及装置

说明书

本发明提供了一种小样本字符与手绘草图识别方法及装置，其特征在于，包括如下步骤：按照固定抹除比例抹除点序列格式的无标注源数据得到增广网络预训练数据；搭建基于高斯混合模型的BERT增广网络，基于增广网络预训练数据与点序列格式的无标注源数据训练得到增广器；按照各个随机抹除比例抹除点序列格式的有标注小样本数据得到抹除后小样本数据；采用增广器对抹除后小样本数据状态与坐标分别预测从而得到预测点，与抹除后小样本数据整合，并利用神经渲染器转换得到位图格式增广数据；基于位图格式的增广数据以及位图格式的有标注小样本数据训练卷积神经网络分类器，得到小样本字符与手绘草图识别模型，从而对待识别图像进行识别得到分类结果。

技术领域

本发明属于数据识别技术领域，具体涉及一种小样本字符与手绘草图识别方法及装置。

背景技术

深度学习模型革命性地改变了视觉识别任务，但模型效果在很大程度上得益于大量的标注训练集。而因为数据标注成本高以及某些类别(例如稀有物种，古代象形文字等)的自然数据稀缺，极大地限制了计算机视觉模型在实际任务中的部署。由于人类可以从极少数带有标签的示例中有效学习新的视觉概念并识别新的物体，因此，激发了小样本学习方面的研究，其最主要的目标是利用更小的数据集训练出鲁棒性较好的分类器。

在典型的小样本学习中，模型首先在大量有标注小样本数据上学习可迁移和通用的知识或表示，然后在新类别的有限标注“支持(support)”样本上训练后对“查询(query)”数据给出预测。最近有些方法还额外利用无标注“支持”数据(半监督学习)或“查询”数据中包含的信息(转导推理)。

上述小样本学习方法都假定存在大规模有标注的源数据，而这一条件在某些领域并不满足。字符(尤其是象形文字)和手绘草图与自然图像存在很大差别，具有稀疏性、多样性，可表示为动态过程和以形表意，并且缺少纹理和色彩。

以古文字甲骨文为例，到目前为止，从所发掘的甲骨中发现了30000多个不同的字符，这些字符可以代表大约4000个不同写法的单字，其中大多数仍未解密，未能破译的大量字符若能被模型利用，则具有重大意义。

手绘草图为二维平面上的抽象形式，既展现出所要表达的信息，又包含着无穷的想象空间。它能够方便地用于描绘物体或场景、勾勒故事情节、设计产品或建筑等，在绘画、设计类的工作中应用十分广泛。因其绘制门槛低，网络或者社交媒体上存在大量用户上传的无标注手绘草图数据。

甲骨文识别，尤其是某些受限于古人使用频率和考古发掘而仅具有极少量样本的类别的文字识别，是天然的小样本学习问题；而对于仅具有少量样本的手绘草图的识别与甲骨文具有诸多相似之处。

在无标注源数据背景下，主流的元学习方法，无论是基于初始化的元学习方法还是基于距离度量的元学习方法，都无法在小样本数据的基础上得到有效的训练，唯一可诉诸的方法是自监督学习和数据增广。但现有小样本领域的增广方法往往也需要有标注小样本数据；最常见的数据增广方法多为自然图像设计(翻转、旋转、裁剪或色彩抖动)，在图像级别上进行转换，未能考虑到字符或草图局部形状的多样性。

发明内容

为解决上述问题，提供一种在无标注源数据条件下利用由小样本字符以及手绘草图训练得到的模型进行有效识别的识别方法及装置，本发明采用了如下技术方案：