[发明专利]一种基于多角度深度信息融合的奶牛体况评分方法及系统

权利要求书

1.一种基于多角度深度信息融合的奶牛体况评分方法，其特征在于，包括以下步骤：

S1：从多个角度获取奶牛的RGB-D视频；

S2：从RGB-D视频中提取关键帧组；

S3：构建基于多角度深度信息融合的奶牛体况评分网络，并对奶牛体况评分网络进行训练，得到训练好的奶牛体况评分网络；

S4：将奶牛的关键帧组输入训练好的奶牛体况评分网络中进行体况评分，得到评分结果。

2.根据权利要求1所述的一种基于多角度深度信息融合的奶牛体况评分方法，其特征在于，步骤S2包括以下步骤：

S2.1：在RGB-D视频中设置感兴趣区域；

S2.2：对RGB-D视频进行奶牛臀部的目标检测；

S2.3：将检测到的奶牛臀部与对应的奶牛的耳标信息相关联，同时创建追踪器在RGB-D视频的每帧画面中对检测到的奶牛臀部进行滤波追踪；

S2.4：判断当前帧的追踪器所追踪的帧数是否达到预设的帧数阈值；

若达到，则在当前帧进行目标检测，得到检测结果；

若未达到，则追踪器继续下一帧的滤波追踪，并返回步骤S2.4；

S2.5：判断追踪器在当前帧画面中是否处于感兴趣区域内；

若处于，则将当前帧作为关键帧，并从各个角度获取的RGB-D视频中提取相应的关键帧形成一个关键帧组，即每个关键帧组有四个关键帧；

若不处于，则认为所检测的奶牛已离开，执行步骤S2.9；

S2.6：判断关键帧组的数量是否达到预设的组数阈值；

若达到，则执行步骤S2.9；

若未达到，则执行步骤S2.7；

S2.7：计算检测结果的矩形框与追踪器在当前帧的矩形框的IoU；

S2.8：判断IoU是否达到预设的IoU阈值；

若达到，则以检测结果的矩形框更新追踪器的矩形框，追踪器继续下一帧的滤波追踪，并返回步骤2.4；

若未达到，则认为所检测的奶牛已离开，执行步骤S2.9；

S2.9：储存得到的关键帧组。

3.根据权利要求2所述的一种基于多角度深度信息融合的奶牛体况评分方法，其特征在于，在步骤S2.1中，采用轻量级网络MobilenetV3对SSD算法的特征提取网络进行改进，得到改进的SSD算法，然后通过改进的SSD算法对奶牛的RGB-D视频进行奶牛臀部的目标检测。

4.根据权利要求3所述的一种基于多角度深度信息融合的奶牛体况评分方法，其特征在于，在通过改进的SSD算法对奶牛的RGB-D视频进行奶牛臀部的目标检测之前，还包括对改进的SSD算法进行网络的调参以及训练，得到训练好的SSD算法。

5.根据权利要求2所述的一种基于多角度深度信息融合的奶牛体况评分方法，其特征在于，在步骤S2.3中，采用KCF算法创建追踪器。

6.根据权利要求1所述的一种基于多角度深度信息融合的奶牛体况评分方法，其特征在于，在步骤S1中，分别从奶牛臀部的左侧、右侧、正侧和上侧对奶牛臀部进行拍摄得到奶牛的RGB-D视频。

7.根据权利要求6所述的一种基于多角度深度信息融合的奶牛体况评分方法，其特征在于，在步骤S3中，所述奶牛体况评分网络包括四个输入层、四个浅层特征提取网络、四个深层特征提取网络、一个全连接层和一个输出层；其中，四个输入层分别与四个浅层特征提取网络对应连接，四个浅层特征提取网络分别与四个深层特征提取网络对应连接，四个深层特征提取网络均通过全连接层与输出层连接。

8.根据权利要求7所述的一种基于多角度深度信息融合的奶牛体况评分方法，其特征在于，所述奶牛体况评分网络采用并联输入的结构，且对于每一个输入均包括R、G、B、D四个通道。