[发明专利]鸟类图像识别检索系统及使用方法

说明书

本发明提出了一种基于微信小程序的鸟类图像识别检索系统，主要包括鸟类图像识别模块和鸟类图像检索模块，其中(1)鸟类图像识别模块，需要用户在微信端预先裁剪图片，图片可来自照相机或系统相册，裁剪后，微信端小程序会将图片上传至后端服务器，后端服务器将返回深度学习模型返回的图片中的鸟类所属的类别。(2)鸟类图像检索模块，检索不需要用户在微信端进行图片裁剪操作，图片同样可以来源照相机或系统相册，上传至后端服务器，后端将从数据库中寻找与上传图像匹配系数最高的三张图片，并按顺序返回到微信端进行显示。本发明为人们获取鸟类相关的知识提供了便利，为专业鸟类保护人员提供了保护鸟类的手段，用户能够使用它随时了解自己不认识的鸟类，或用来查询与之相似的类型，加深记忆。

技术领域

本发明涉及前后端深度学习细粒度图像识别与检索技术领域，特别是涉及一种基于微信小程序的鸟类图像的识别与检索系统及使用方法。

背景技术

近年来，鸟类灭绝速度的加快将影响其他的食物链的生物以及自然环境，保护鸟类形势严峻，因此开展对鸟类图像识别的研究十分必要，这不仅能帮助人们进一步认识鸟类，而且能扩宽保护鸟类的手段，在学术领域和工业领域都具有更为前沿的社会生态意义和商业价值。但目前大多数图像识别及检索方法都是针对不同物种，对相同物种间细粒度识别的研究比较少见。而目前实现的大类间识别技术无法满足人们对同类类内细致区分的需求。

发明内容

针对上述问题，本发明提供一种基于微信小程序的鸟类图像的识别与检索系统，为用户提供通过图片认识鸟类的可能。改进深度学习模型框架，使得使用过程中在保证识别准确率的情况下消耗较少的识别等待时间。

本发明提供一种基于微信小程序的鸟类图像的识别与检索系统，其技术方案是通过以微信小程序为前端客户使用手段，以Python语言编写Django框架后端服务器，用以处理前端传输的图片，保证前端运行速度，并返回用户所需要的信息和图像；

一种基于微信小程序的鸟类图像的识别与检索系统，包括图像裁剪模块、图像识别模块、图像检索模块以及结果显示模块，其中：

1)图像裁剪模块,用于给需要图像识别的用户提供对上传图片的裁剪功能，可对来自相册以及照相机的图片进行裁剪，裁剪成正方形尺寸后能有效保障识别精度。

2)图像识别模块，用于识别上传到后端的图片，并将结果从后端返回。本系统的识别基于resnet50卷积神经网络，基于数据库CUB200-2011，在本系统中，改进了原resnet50网络中的损失函数，新的损失函数为交叉熵损失函数和中心损失函数的混合函数，提升了模型的训练精度，并使用了Imagenet数据库下的迁移学习，是最终测试识别精度达到了86.8％。同时使用优秀的服务器作为后端，保证了后端识别尽量需要更少的时间。

3)图像检索模块，用于检索与上传到后端的图片最为相似的图片，查找范围限于用于训练深度学习模型的数据集，本系统的检索功能同样基于使用 resnet50卷积神经网络训练获得的模型。不同的是，我们利用改进resnet50网络，对其加入一个512维网络全连接层，提取该层输出的向量，据此构建新的特征库，使用距离为2的汉明距离进行匹配以实现最少时间的检索。

4)结果显示模块，用于显示识别或者检索操作后，从后端获取的结果。当识别结束后，后端会返回识别鸟类的种类名字，小程序将对种类和详细信息进行显示。而检索结束时，将检索到的图片按匹配度从大到小进行排序，并显示。

本发明的运行环境为微信6.0以及以上版本，Android4.4及以上版本， IOS9.0及以上版本。

本发明还提供一种基于微信小程序的鸟类图像识别检索系统的使用方法，包括以下步骤：

S100、微信登录，进入小程序，获取微信账号信息登录小程序，选择识别模块或者检索模块；

S110、进入识别模块，选择图片来源，通过点击相册或照相机进入；