[发明专利]一种双流RGB-D Faster R-CNN识别哺乳母猪姿态的方法

摘要

本发明公开了一种双流RGB‑D FasterR‑CNN的识别哺乳母猪姿态方法，即提出一种在特征提取阶段融合RGB‑D图像特征的端对端的双流RGB‑D Faster R‑CNN算法，用于识别自由栏母猪场景下的哺乳母猪站立、坐立、俯卧、腹卧和侧卧5类姿态。基于Faster R‑CNN，首先使用两个CNN网络分别提取RGB图像特征和深度图像特征；然后利用RGB‑D图像的映射关系，仅采用一个RPN网络生成RGB图像特征图和深度图像特征图的感兴趣区域；对感兴趣区域特征池化后，使用一个独立的网络层实现RGB‑D特征的拼接融合；最后在Fast R‑CNN阶段，引入NOC结构继续卷积提取融合后的特征，再送入分类器和回归器。本发明提供了一种融合了RGB‑D数据信息端对端的高精度、小模型和实时的母猪姿态识别方法，为进一步分析母猪行为奠定了基础。

主权项

1.一种根据权利要求1所述的一种双流RGB‑D Faster R‑CNN识别哺乳母猪姿态的方法，其特征在于，包括如下步骤：S1、采集哺乳母猪的RGB‑D视频图像，包括RGB图像和深度图像，并建立母猪姿态识别RGB‑D视频图像库；S2、通过相机标定方法计算获得RGB图像与深度图像之间的映射关系；S3、基于FasterR‑CNN算法，使用两个CNN网络分别卷积RGB图像和深度图像，得到RGB图像特征图和深度图像特征图；S4、仅使用一个RPN网络，以深度图像特征图为基础生成感兴趣区域D‑ROI，通过RGB图像与深度图像之间的映射关系，对每一个D‑ROI一一对应生成RGB图像特征图的感兴趣区域RGB‑ROI；S5、对每一个D‑ROI和RGB‑ROI分别使用ROI Pooling层池化为固定大小，对池化后的每一组D‑ROI和RGB‑ROI特征图使用拼接融合方法，融合两者特征；S6、对融合后的特征图使用NOC结构的FastR‑CNN进一步提取融合特征，在经过全局平均池化层之后交由分类器和回归器处理，得到双流RGB‑D Faster R‑CNN母猪姿态识别模型，并输出识别结果；S7、从母猪姿态识别RGB‑D视频图像库获取训练集和测试集，使用训练集训练双流RGB‑D Faster R‑CNN母猪姿态识别模型，使用测试集测试模型性能，最终筛选最佳性能模型。