[发明专利]基于畜类图像语义感知的养殖舍影像大数据采集分析方法

权利要求书

1.一种基于畜类图像语义感知的养殖舍影像大数据采集分析方法，其特征在于，该方法包括：

步骤一，以养殖舍信息数据为基础，建立三维养殖舍模型，构建起养殖舍建筑信息模型及其信息交换模块；

步骤二，利用布设在养殖舍内顶部墙壁或天花板的摄像头采集大量畜类图像，构成畜类图像训练集；

步骤三，对畜类图像训练集的图像进行畜类关键点标注，标注在每个畜牧动物的中心位置，将标注的畜类动物中心散点图与高斯核卷积得到畜类关键点热力图；

步骤四，将畜类图像训练集以及其对应的畜类关键点热力图标签数据输入畜类关键点提取网络，训练畜类关键点检测编码器、畜类关键点检测解码器；

步骤五，将摄像头实时采集的畜类图像输入训练好的畜类关键点提取网络，得到畜类关键点热力图；

步骤六，将连续帧的畜类关键点热力图进行叠加，对相加的热力图进行阈值化处理，大于或等于阈值的像素值设为255，小于阈值的像素值设为0；

步骤七，统计像素值为255的像素点在图像中的占比，并根据该占比与划分的占比区间的关系，输出相机实时刷新率等级；

步骤八，根据相机实时刷新率等级实时调整摄像头刷新率并进行图像采集；同时将各个摄像头拍摄的图像以及叠加的热力图进行拼接，形成完整的养殖舍图像、热力图图像，经透视变换处理后，投影到养殖舍建筑信息模型地面坐标系；

步骤九，养殖舍建筑信息模型中添加摄像头图像图层、叠加热力图图像图层，利用信息交互模块获取完整的养殖舍图像、热力图图像，添加到对应图层，结合WebGIS技术，在Web页面上对养殖舍建筑信息模型进行可视化显示。

2.如权利要求1所述的方法，其特征在于，所述畜类关键点检测编码器对畜类图像进行特征提取，输入为图像数据，输出为特征图；

所述畜类关键点检测解码器对特征图进行上采样并最终生成关键点热力图，其输入为畜类关键点检测编码器产生的特征图，输出为畜类关键点热力图。

3.如权利要求1所述的方法，其特征在于，所述步骤四中训练时采用的损失函数：

其中，P_ij代表畜类关键点在位置(i,j)处的得分，得分越高就越可能是畜类关键点，N代表真值热力图中的关键点数量，α、β为超参数。

4.如权利要求1所述的方法，其特征在于，相机实时刷新率等级包括：0级表征畜类基本无走动，1级表征畜类小幅度走动，2级表征畜类大量走动，划分的占比区间包括：0级：[0,0.2)，1级：[0.2,0.4)，2级：[0.4,0.6)。

5.如权利要求1所述的方法，其特征在于，根据相机实时刷新率等级实时调整摄像头刷新率包括：相机实时刷新率0级时，调整摄像头刷新率为30Hz，1级时，调整摄像头刷新率为45Hz；2级时调整摄像头刷新率为60Hz。

6.如权利要求1所述的方法，其特征在于，所述将各个摄像头拍摄的图像进行拼接，形成完整的养殖舍图像、热力图图像包括：

提取养殖舍内相邻位置摄像头拍摄的待拼接摄像头图像的特征点；

进行图像配准，采用一定的匹配策略，找出待拼接摄像头图像中的特征点在参考图像中对应的位置；

根据图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型；

根据建立的数学转换模型，将待拼接摄像头图像、待拼接热力图图像转换到参考图像的坐标系中，完成统一坐标变换；

将待拼接摄像头图像的重合区域进行融合得到拼接重构的平滑无缝的养殖舍图像，将待拼接热力图图像的重合区域进行融合得到拼接重构的热力图图像。