[发明专利]一种双流RGB-D Faster R-CNN识别哺乳母猪姿态的方法

权利要求书

1.一种双流RGB-D Faster R-CNN识别哺乳母猪姿态的方法，其特征在于，包括如下步骤：

S1、采集哺乳母猪的RGB-D视频图像，包括RGB图像和深度图像，并建立母猪姿态识别RGB-D视频图像库；

S2、通过相机标定方法计算获得RGB图像与深度图像之间的映射关系；

S3、基于Faster R-CNN算法，使用两个CNN网络分别卷积RGB图像和深度图像，得到RGB图像特征图和深度图像特征图；

S4、仅使用一个RPN网络，以深度图像特征图为基础生成感兴趣区域D-ROI，通过RGB图像与深度图像之间的映射关系，对每一个D-ROI一一对应生成RGB图像特征图的感兴趣区域RGB-ROI；

S5、对每一个D-ROI和RGB-ROI分别使用ROI Pooling层池化为固定大小，对池化后的每一组D-ROI和RGB-ROI特征图使用拼接融合方法，融合两者特征；

S6、对融合后的特征图使用NOC结构的Fast R-CNN进一步提取融合特征，在经过全局平均池化层之后交由分类器和回归器处理，得到双流RGB-D Faster R-CNN母猪姿态识别模型，并输出识别结果；

S7、从母猪姿态识别RGB-D视频图像库获取训练集和测试集，使用训练集训练双流RGB-D Faster R-CNN母猪姿态识别模型，使用测试集测试模型性能，最终筛选最佳性能模型。

2.根据权利要求1所述的一种双流RGB-D Faster R-CNN识别哺乳母猪姿态的方法，其特征在于，所述步骤S1的具体过程如下：

S11、将RGB-D传感器固定俯视拍摄采集猪栏RGB-D视频图像；

S12、从获取的RGB-D视频图像数据中采样获取训练集和测试集，其中训练数据集占70％，测试集占30％以测试模型性能；

S13、在训练集和测试集中，对深度图像进行预处理，包括滤波去噪和图像增强，然后对预处理后的深度图像进行目标标注，即标注目标外包围框和姿态类别，RGB图像则无需处理；再对处理后的训练集数据进行旋转和镜像扩增用于训练模型。

3.根据权利要求1所述的一种双流RGB-D FasterR-CNN识别哺乳母猪姿态的方法，其特征在于，所述步骤S2的具体过程如下：

S21、使用相机标定方法获得RGB图像的内参矩阵为K_rgb，深度图像的内参矩阵K_d，针对相机标定使用的同一幅棋盘格图像获得RGB图像外参矩阵R_rgb和T_rgb，以及深度图像的外参矩阵R_d和T_d；令RGB图像的非齐次像素坐标为P_rgb＝[U_rgb,V_rgb,1]^T，U_rgb表示横坐标，V_rgb表示纵坐标，深度图像的非齐次像素坐标为P_d＝[U_d,V_d,1]^T，U_d表示横坐标，V_d表示纵坐标；则深度图像坐标映射到RGB图像坐标的旋转矩阵R，平移矩阵T分别为：

S22、深度图像的像素坐标与RGB图像的像素坐标的映射关系为：

P_rgb＝(R*Z_d*P_d+T)/Z_rgb

由上式，可以通过获取深度图像的坐标值P_d和其像素值Z_d，以及拍摄距离Z_rgb得到相应像素点映射对应的RGB图像的坐标值P_rgb。

4.根据权利要求1所述的一种双流RGB-D FasterR-CNN识别哺乳母猪姿态的方法，其特征在于，所述步骤S3的具体过程如下：

在Faster R-CNN的共享卷积层部分，使用两个相同的CNN网络分别以深度图像和RGB图像作为输入，以深度图像作为输入的CNN网络为Conv-D，以RGB图像作为输入的CNN网络为Conv-RGB。