[发明专利]一种双流RGB-D Faster R-CNN识别哺乳母猪姿态的方法

说明书

本发明公开了一种双流RGB‑D FasterR‑CNN的识别哺乳母猪姿态方法，即提出一种在特征提取阶段融合RGB‑D图像特征的端对端的双流RGB‑D Faster R‑CNN算法，用于识别自由栏母猪场景下的哺乳母猪站立、坐立、俯卧、腹卧和侧卧5类姿态。基于Faster R‑CNN，首先使用两个CNN网络分别提取RGB图像特征和深度图像特征；然后利用RGB‑D图像的映射关系，仅采用一个RPN网络生成RGB图像特征图和深度图像特征图的感兴趣区域；对感兴趣区域特征池化后，使用一个独立的网络层实现RGB‑D特征的拼接融合；最后在Fast R‑CNN阶段，引入NOC结构继续卷积提取融合后的特征，再送入分类器和回归器。本发明提供了一种融合了RGB‑D数据信息端对端的高精度、小模型和实时的母猪姿态识别方法，为进一步分析母猪行为奠定了基础。

技术领域

本发明涉及计算机视觉中多模态的目标检测和识别技术领域，特别涉及一种基于Faster R-CNN目标检测算法，利用RGB-D数据，采用双流CNN提取 RGB-D特征后在特征提取阶段融合的端对端的哺乳母猪姿态识别方法。

背景技术

养猪场中猪的行为是其福利和健康状态的重要表现形式，直接影响到养猪场的经济效益。在动物行为的监测技术中，与传统的人工监测和传感器技术相比，使用计算机视觉进行自动识别是一种低成本、高效的、非接触式的方式，能持续提供有价值的行为信息。

近年来，使用计算机视觉对猪进行行为识别受到了广泛的研究。例如： 2018年华南农业大学薛月菊等人公开号为CN108830144A的专利利用深度图像数据，引入残差结构和CenterLoss改进Faster R-CNN算法来自动识别自由栏中哺乳母猪的五种姿态。该团队2017年公开号为CN201710890676的专利利用深度图像，首先采用DPM算法检测母猪，在对检测框使用CNN网络识别母猪姿态，公开号为CN107527351A的专利则利用RGB图像和FCN算法自动分割场景中的母猪。2018年华南农业大学肖德琴等人公开号为 CN108717523A的专利公开了一种基于机器视觉的母猪发情行为检测方法，该方法首先进行爬跨行为判断，然后根据发情母猪的位移运动信息，公猪的接近程度和爬跨频次等信息训练神经网络模型实现行为检测。2016年中国农业大学劳凤丹等人公开号为CN104881636A的专利公开了一种识别猪躺卧行为的方法及装置，该方法获取猪的深度图像和二值图像，对二值图像进行椭圆拟合，并计算深度图像特定点到地面的高度，最后通过阈值比较识别猪的躺卧行为。2017年江苏大学朱伟兴等人公开号为CN108090426A的专利公开了一种基于机器视觉的群养猪身份识别方法，通过采集群养猪的俯视视频，频域中提取猪个体的多尺度和多方向的特征，空间域提取猪个体微小细节特征，对特征降维后训练分类器，实现识别判段，此外该团队公开号为CN107679463A的专利公开了一种采用机器视觉技术识别群养猪攻击行为的分析方法，公开号为CN107437069A的专利公开了基于轮廓的猪只饮水识别方法等等。

目前基于计算机视觉的猪的行为识别研究中，大多研究仅使用RGB图像或深度图像数据进行研究，这导致在真实场景中难以获得鲁棒的特征表示，容易达到识别精度的瓶颈。摄像机将3维世界映射为2维空间的RGB图像会不可避免地导致信息丢失，使用深度图像来作为补偿这部分信息是可行的。此外，深度图像因缺少RGB图像的纹理、色彩等信息而缺失目标物体的细节信息特征，当目标物体形状高度相似时难以做精准的识别。特别地，在俯视拍摄的母猪姿态识别任务中，一方面，目标的高度是判断不同姿态的重要信息，这在RGB图像中是无法体现的，另一方面，母猪的部分姿态的高度和形状又是相近的(例如俯卧与腹卧)，仅利用深度信息难以精准区分。

因此，提供一种高精度的双流RGB-D Faster R-CNN识别哺乳母猪姿态的方法是本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种双流RGB-D Faster R-CNN识别哺乳母猪姿态的方法，对自由栏中的哺乳母猪实现自动、更高精度和实时的姿态识别。为实现上述目的其具体方案如下：