[发明专利]基于Mask-RCNN的牛脸及牛脸关键点检测方法

说明书

本发明公开了基于Mask‑RCNN的牛脸及牛脸关键点检测方法，为填补牛脸及牛脸关键点同步检测的空白，基于Mask‑RCNN的牛脸及牛脸关键点检测方法的步骤:1)采集带有牛脸的图片,标记每张图片中牛脸及牛脸关键点数据：(1)从国内网络中收集牛的图片，从收集的图片中选取有牛脸的图片：a.从国内的农业节目中选取关于养牛的视频，每隔5帧截取一幅图片，从中选取有牛脸的图片；b.使用摄像机实地采集牛只的视频，每隔5帧截取一幅图片，从中选取有牛脸的图片；(2)标注图片中的每个牛脸的位置；2)设计牛脸及牛脸关键点检测网络结构；3)利用标记完成的数据训练牛脸及牛脸关键点检测网络，最终生成牛脸及牛脸关键点检测器。

技术领域

本发明涉及属于数字图像处理技术领域的一种检测方法，更确切地说，本发明涉及一种基于Mask-RCNN的牛脸及牛脸关键点检测方法。

背景技术

动物身份识别可以方便生产管理、控制疾病爆发以及确立所属权，并且也满足当今消费者追踪溯源的需求以及进出口贸易的要求。

现代动物身份识别技术包括机械式的(如烙印、纹身等)、电子式的(如耳标、RFID瘤胃陶瓷标签、可植入式ID芯片等)、生物特征式的(如鼻纹印、DNA图谱、虹膜识别等)。机械式的、电子式的动物身份识别方法都具有操作难、动物福利低、造价高、丢失率高、重复利用率低等缺点。

牛脸识别技术是基于图像中牛脸部特征的差异进行区分的牛只身份识别方法。整个过程包括牛脸检测、牛脸特征点检测以及牛脸识别三个主要步骤。其中牛脸检测是目标检测的一种特例，是框出图像中的所有牛脸。牛脸特征点检测是定位出牛脸的关键区域位置点，利用这些关键点使用仿射变换将牛脸统一“摆正”，尽量去消除牛脸识别中姿势不同带来的误差。因此牛脸检测和牛脸关键点检测是牛脸识别的基础。

从2011年深度学习在语音识别中大放异彩，到2012年AlexNet(一种图片识别框架)在ImageNet(一个用于视觉对象识别软件研究的大型可视化数据库)中脱颖而出。2015年FaceNet(一种人脸识别框架)在LFW数据集上的识别率达到99.63％，已经超越人类识别人脸的水平。目前基于深度学习方法的动物身份识别研究较少，虽然有一些研究机构已经进行相关探索，但仍没有得到推广与应用。首先主要是基础工作没有做到位；任何生物特征识别的前提都是具有规定的数据库，而大部分的研究人员都是自己拥有自己的数据库，可以说相互独立。其次动物的品种很多，研究人员都是选出某一个品种来进行训练，导致每一个品种都要建数据库，操作繁琐。再次大部分研究人员应用的数据都是自己获取的，环境相同，噪声相似，导致模型的泛化性不强。

在牛脸检测方面，中国专利公告(布)号为CN108549860A，公告(布)日为2018年4月9日，发明名称为《一种基于深度神经网络的牛脸识别方法》的案子中只是提到使用通用的方法训练牛脸检测器；并且该方法稍微有些画蛇添足，是利用耳标和牛脸结合的方法识别牛脸。中国专利公告(布)号为CN107292298A，公告(布)日为2017年8月9日，发明名称为《基于卷积神经网络和分类器模型的牛脸识别方法》的案子中没有提及牛脸检测的问题，只是通过调整摄像头的视角，手动选取图像中只有一个牛脸的图片形成训练集和测试集，可想而知，该方法的通用性不强。并且以上两种方法都没有提及牛脸关键点检测问题，导致牛脸识别的准确率大幅度降低。

在牛脸关键点检测方面，中国专利公告(布)号为CN109002769A，公告(布)日为2018年6月22日，发明名称为《一种基于深度神经网络的牛脸对齐方法及系统》的案子并且没有给出关键点的数目；使用全局网络由整张图像定位所有关键点，利用欧氏距离损失函数进行回归，没有挖掘多尺度信息进行关键点的校正和调整，可以说是一个单级的牛脸关键点检测。

综上所述，现有的牛脸识别技术存在的主要问题有：

1.没有牛脸检测方法，只是利用目标检测的通用方法，这样导致牛脸检测的准确率不高，专业性不强。

2.牛脸关键点的数量没有分析，以及缺少较为准确的牛脸关键点的检测方法。