[发明专利]一种七巧板玩具识别的方法和装置

说明书

本公开涉及七巧板玩具的识别方法和装置。该方法包括：截取摄像头包含有效七巧板的图像区域；将所截取的图像作为七巧板识别模型的输入，所述七巧板识别模型是已训练的用于七巧板识别的深层卷积神经网路，所述七巧板识别模型的输出指示所述输入图像中包含的所有七巧板在图像中的像素、以及每一个像素对应七巧板的类型；基于所述七巧板识别模型的输出识别图像中包含的每一个七巧板像素级区域。应用本公开，能有效提高七巧板识别的准确率，于此同时在不同光照条件、不同背景环境下都能得到很好的识别结果。

技术领域

本公开涉及七巧板玩具的图像识别领域，尤其涉及基于卷积神经网络的七巧板识别方法和装置。

背景技术

七巧板玩具对培养孩子的逻辑思维能力和空间想象能力等有很大的帮助，但是孩子需要专业的培训机构或者父母专业的指导，才能逐步深入地认识到七巧板玩具的技巧和乐趣，大部分孩子接触到七巧板，只是简单玩个入门，遇到困难无法解决后就将其束之高阁。

为了解决上述问题，我们可以通过带摄像头和计算单元的装置，实时获取到孩子玩七巧板玩具的视频，通过视频识别和分析孩子操作七巧板玩具的过程，当孩子遇到问题无法解决的时候，可以通过屏幕或者是语音给孩子提供相应的提示和引导，帮忙孩子完成七巧板拼接成指定图案的任务，帮忙孩子逐步探索出七巧板玩具的技巧和培养相应的能力。

上述解决方案的核心是对七巧板玩具的图像识别算法，传统的计算机视觉算法可以实现上述功能（比如通过将图像转换为HSV颜色图像，通过七巧板的七种颜色过滤来识别不同的七巧板模块），但是鲁棒性和兼容性很差，实际应用中效果和体验难以让人满意。比如说强光或者是阴影等光照条件下，识别效果急剧下降，又比如不同的桌面背景还有不同型号的摄像头，识别效果都会受到很大的影响。

发明内容

有鉴于此，本公开提出了一种鲁棒性高并且识别准确率很高的七巧板识别方法，本公开还提供了相应的装置。

根据本公开的一方面，提供了一种基于卷积神经网络的七巧板识别方法，所述方法包括：截取实时视频中的图像中的中间区域；将所截取的图像作为七巧板模型的输入，所述七巧板识别模型是已训练的用于识别七巧板玩具的深层卷积神经网络，所述七巧板识别模型的输出指示所述输入图像中包含的所有七巧板在图像中的像素、以及每一个像素对应七巧板的类型。

根据本公开的另一方面，提供了一种用卷积层和空洞卷积层代替分类网络中的全连接层方案，并在最后的特征提取层后面增加相对应的以反卷积层为主的解码器结构，使得网络模型可以输出像素级的识别结果。

根据本公开的另一方面，提供了一种采用空洞卷积的结构来减小识别模型的计算量和参数量，在增大感受野的同时维持了特征映像的分辨率，使得识别模型可以准确地识别出不同尺度的七巧板；也就是说，无论七巧板玩具是在靠近摄像头的地方，还是远离摄像头的地方，本识别模型都可以准确地识别出来。

根据本公开的另一方面，提供了一种采用多尺度特征映像上采样后融合的方案，增加对小目标七巧板识别的精度。

根据本公开的另一方面，提供了一种在识别模型的初始化部分进行缩小输入图像分辨率的方案，以此来去除视觉的冗余，减小计算量，加快识别速度。

根据本公开的另一方面，提供了一种减小解码器规模的方法，以此精简网络模型，达到减小计算量和加快识别速度的效果。

根据本公开的另一方面，提供了一种通过对标准卷积操作进行因式分解的方法，以此减小网络模型的计算量和参数量，达到加快识别速度的效果。

根据本公开的另一方面，提供了一种基于卷积神经网络的七巧板识别装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。用于采集玩具视频的摄像头；