[发明专利]基于注意力引导点云特征学习的奶牛体况自动评分方法

权利要求书

1.基于注意力引导点云特征学习的奶牛体况自动评分方法，其特征在于：包括以下步骤：

S1：数据采集：

从两个牧场随机选取奶牛进行背部数据的采集，采集奶牛背部深度图像；

S2：点云数据转化：

利用采集到的深度图像中所包含的深度信息，即深度帧数据，结合相机内置参数，生成奶牛背部点云，并进行保存；

S3：感兴趣区域的提取：

依次遍历点云内的点，在获取到X坐标最大和最小的两个点后，利用两点连线将奶牛前躯部分去除，从而获取到作为感兴趣区域的奶牛背部后躯区域；

S4：点云数据归一化：

依据点云X，Y，Z三方向坐标的最小值进行平移，并将点云归一化至以原点为中心的边长为1的立方体中；

S5：降采样：

为输入点云创建3D体素栅格，在每个体素栅格中计算体素栅格内所有点的质心，用质心代替体素内所有点；

S6：特征放大：

将Z轴坐标值放大1.25倍；

S7：法向量计算：

使用基于局部表面拟合的方法进行法向量的估计，将点云中点X，Y，Z三方向法向量加入到每个点的特征中；

采用点云特征提取网络PointNet++进行三维特征的提取，注意力机制从大量信息中筛选出重要信息，并在训练时聚焦在这些重要的信息上，注意力机制的计算过程分为两步，首先进行权重系数计算，其次根据权重系数对每个点进行加权，其中第一步分为两个阶段，相似性计算与归一化，获取缩放因子，采用点积注意力进行注意力机制的计算，首先通过点积方法来计算相似性，然后利用Softmax函数将相似性转化为概率分布，即权重值，其中，利用缩放因子消除在点积增大时Softmax函数被推入梯度极小的区域效果；最后将权重值与输入进行相乘，最后利用注意力引导的点云特征提取网络提取奶牛背部三维特征并构建奶牛体况自动评分模型；

通过点积方法来计算两点之间的相似性：

Similarity(p_i，p_j)＝p_i·p_j/L

其中，p_i和p_j为点云中的点，L为缩放因子。

2.根据权利要求1所述的基于注意力引导点云特征学习的奶牛体况自动评分方法，其特征在于：步骤S1中，在数据采集过程中，本实验数据采集设备使用具有彩色，红外和深度三个摄像头的深度传感器，相机深度摄像头分辨率为1280*720p，工作范围为1.5m～5m。

3.根据权利要求1所述的基于注意力引导点云特征学习的奶牛体况自动评分方法，其特征在于：步骤S2中，通过深度图像转换生成的点云，因牛舍内的复杂环境，存在噪声点，此处采用半径滤波方法，通过设置给定半径邻域内包含点的个数作为阈值进行滤波操作，以去除噪声点。

4.根据权利要求1所述的基于注意力引导点云特征学习的奶牛体况自动评分方法，其特征在于：步骤S3中，在感兴趣区域提取过程中，将奶牛后躯区域作为感兴趣区域并进行提取，而奶牛背部前后躯以髋关节连线为明显的界限。

5.根据权利要求1所述的基于注意力引导点云特征学习的奶牛体况自动评分方法，其特征在于：步骤S4中，在感兴趣区域数据的处理过程中，依据X，Y，Z三方向坐标最小值对点云进行平移，并将奶牛背部后躯点云进行归一化处理。

6.根据权利要求1所述的基于注意力引导点云特征学习的奶牛体况自动评分方法，其特征在于：步骤S5中，在降采样过程中，采用体素栅格滤波对后躯点云进行降采样。

7.根据权利要求1所述的基于注意力引导点云特征学习的奶牛体况自动评分方法，其特征在于：步骤S6中，Z轴坐标值体现凹陷特征，将奶牛背部感兴趣区域的Z轴坐标值放大1.25倍。

8.根据权利要求1所述的基于注意力引导点云特征学习的奶牛体况自动评分方法，其特征在于：步骤S7中，使用基于局部表面拟合的方法进行法向量的估计，基于某一个点的k个近邻点计算一个最小二乘意义上的局部平面XOY，平面XOY的法向量n_i可视为该点的法向量。