[发明专利]基于Mask-RCNN的牛脸及牛脸关键点检测方法

权利要求书

1.一种基于Mask-RCNN的牛脸及牛脸关键点检测方法，其特征在于，所述的基于Mask-RCNN的牛脸及牛脸关键点检测方法的步骤如下：

1)采集带有牛脸的图片,标记每张图片中牛脸及牛脸关键点数据:

(1)从国内网络中收集牛的图片，从收集的图片中选取有牛脸的图片

a.从国内的农业节目中选取关于养牛的视频，每隔5帧截取一幅图片，从中选取有牛脸的图片；

b.使用摄像机实地采集牛只的视频，每隔5帧截取一幅图片，从中选取有牛脸的图片；

其中牛只的品种有中国黑白花牛、荷斯坦奶牛、娟珊牛、西门塔尔牛、西门塔尔杂交牛、红牛、黑牛、黄牛与和牛多个品种；

(2)标注图片中的每个牛脸的位置

标记牛正脸时的牛脸的6个关键点，分别为左眼、右眼、左鼻孔上缘、左鼻孔下缘、右鼻孔上缘、右鼻孔下缘；

2)设计牛脸及牛脸关键点检测网络结构:

(1)牛脸及牛脸关键点检测网络输入层接收用于训练检测网络的图片，即标记牛脸位置及牛脸6个关键点的彩色RGB图片，预处理将尺寸调整为1024*1024，经过改进的深度可分离卷积的VGGNet与FPN网络耦合的网络进行不同尺度的特征提取；

(2)提取到的特征图对每个点设定预定的ROI即感兴趣区域,将获得的多个ROI输送到RPN网络进行候选区域筛选，将筛选出的候选区域映射回原图尺度；

(3)利用RoIAlign层对每个候选出的ROI提取固定尺寸的特征图；

(4)最后对固定尺寸的特征图进行牛脸边框回归、牛脸关键点回归、目标分类以及牛脸掩膜输出；

3)利用标记完成的数据训练牛脸及牛脸关键点检测网络，最终生成牛脸及牛脸关键点检测器。

2.按照权利要求1所述的基于Mask-RCNN的牛脸及牛脸关键点检测方法，其特征在于，所述的深度可分离卷积的VGGNet与FPN网络耦合的网络由两大部分组成：

(1)一部分为深度可分离卷积的VGGNet网络进行特征提取下采样，其结构采用原有的VGGNet16网络卷积基结构；

改进的VGGNet网络中使用深度可分离卷积提取特征，共计进行13次深度可分离卷积，卷积核的尺寸为3*3，通道数逐渐从64增加到512；池化都选用最大池化操做；进行5次下采样，下采样的频率2；

(2)另一部分为FPN网络进行特征提取上采样

FPN网络采用的最邻近上采样，采样频率为2。

3.按照权利要求1所述的基于Mask-RCNN的牛脸及牛脸关键点检测方法，其特征在于，所述的利用标记完成的数据训练牛脸及牛脸关键点检测网络，最终生成牛脸及牛脸关键点检测器是指：

利用采集的数据训练牛脸及牛脸关键点检测网络，以牛脸及牛脸关键点检测网络的预测输出与真实输出的误差收敛为目标，即通过最小化RPN网络中的损失L_R与牛脸及牛脸关键点检测网络的总损失L，训练该网络；

将数据分为两类，其中一类为只标记牛脸的数据集，另一类为即标记牛脸也标记牛脸关键点数据集；

1)先利用只标记牛脸的数据集训练网络；

2)然后再利用即标记牛脸也标记牛脸关键点数据集训练网络，如果只用正脸训练网络，会导致网络的泛化性不强；

所述的牛脸及牛脸关键点检测网络的预测输出与真实输出的误差分为四部分：

牛脸边框回归损失L_box：Smooth L1损失；

目标分类损失L_class：Softmax交叉熵损失；

牛脸关键点回归损失L_kpoint：均方误差损失；

牛脸掩膜输出损失L_mask：平均二值交叉熵损失；

总损失L＝L_box+L_class+L_kpoint+L_mask。