[发明专利]一种复杂场景下的绘画物体识别与提取方法

说明书

技术领域

本发明涉及图像识别与分割技术领域，特别涉及一种复杂场景下的绘画物体识别与提取方法。

背景技术

图像识别与分割是计算机视觉领域重要和基础性的问题，也是颇具挑战性的任务。近年来，深度学习技术的发展，在计算机视觉领域大放异彩，尤其在图像识别领域取得了超越人类的结果，在端到端的图像分割上也正发力。

绘画识别在少儿绘画教育、少儿认知启蒙等领域都大有用处。然而，不同于自然图像的识别，绘画会表现得更加抽象，尤其是少儿的绘画，会更加简要、天马行空，这就意味着图像上拥有更少的特征信息以及同一类别内更大的变化性，这都让绘画识别变得更加困难。

目前，针对绘画的识别主要着力于画板上图像的识别与分析，主要有两种方法，一种是针对绘画数据设计的基于手工特征表示的识别方法，另一种是基于深度卷积神经网络的端到端检测识别方法。Jun Guo等提出利用Gabor特征构建低维表示，并进一步利用稀疏编码构建高层特征，进而使用支持向量机分类方法完成分类识别【1】；赵鹏等提出使用深度学习方法来完成绘画的识别，针对简笔绘画中信息更少的问题，提出增加卷积核大小的方法【2】；这些方法都应用在只包含了绘画图像的公开数据集上，虽然取得了接近于人的效果，但在实际应用中，并不能处理复杂的场景信息(非绘画内容)；中国发明专利“一种绘画辅导方法及装置”【3】，公开了一种绘画辅导方法，包括以下步骤：接收用户的绘画信息；根据图像识别技术提取出绘画信息中的线条轮廓，识别出不同前景背景物体；分析粗细、光滑和长短的变化规律；对物体进行直线检测，识别视平线和心点；进行图像处理光照分析，识别图像中的高光、阴影和投影；指定一种绘画风格作为限定条件，对用户的绘画信息图像进行辅导，给出修正意见；同样只能处理画纸上区域，然而，在摄像头拍摄绘画内容时，由于光照、角度、阴影、距离等原因，获取到的图像更加复杂时，在诸如室内客厅、教学课堂等场景，并不能准确地完成识别过程，因而需要一些技术方法从这些复杂场景下完成绘画图像的识别与分割。目前，并没有一种方法能够完成此任务。

以下给出检索的相关文献：

【1】Guo J，Wang C，Chao H，et al.Building effective representations for sketch recognition[C].national conference on artificial intelligence，2015：3776-3782.

【2】赵鹏，王斐，刘慧婷，等.《基于深度学习的手绘草图识别[J]》.四川大学学报(工

程科学版),2016,48(3)：94-99.

【3】中国发明专利《一种绘画辅导方法及装置》，申请人：厦门优莱柏网络科技有限公司，专利号：201610964775.X。

发明内容

针对上述现有技术的缺陷及存在的技术问题，本发明提供了一种复杂场景下的绘画物体识别与提取方法，具有尺度和旋转不变性、识别准确率高、识别范围广、适应性好的特点。

本发明解决其技术问题所采用的技术方案是：一种复杂场景下的绘画物体识别与提取方法，包括以下步骤：

步骤1：构建检测与识别模型，选定深度学习领域中的神经网络检测模型，并利用已有物体框和物体类别准确标注的图像集作为该模型输入，以反向传播(BP)算法训练该模型，至模型收敛；

步骤2：使用图像采集设备，如摄像头、相机，采集包含用户绘画内容的场景图像；

步骤3：利用训练完的检测与识别模型，以采集得到的图像为输入进行模型计算，在图像中定位出绘画区域，并识别出绘画物体类别；

步骤4：选出绘画区域，利用绘画物体与背景上的显著区别特性，使用图像边缘检测确定绘画物体轮廓，使用图像分割技术提取出绘画物体轮廓区域。

本发明所述的一种复杂场景下的绘画物体识别与提取方法，其中，所述步骤1中构建的检测与识别模型为深度神经网络模型，需要利用大量已有物体框和物体类别标注的图像数据进行模型的训练，直至模型的参数收敛到预定的范围。

本发明所述的一种复杂场景下的绘画物体识别与提取方法，其中，所述深度神经网络模型在训练时应指定固定数量类别，指定网络输入图像的尺寸，指定网络的结构类型。