[发明专利]基于畜类图像语义感知的养殖舍影像大数据采集分析方法

说明书

本发明公开了一种基于畜类图像语义感知的养殖舍影像大数据采集分析方法。包括：构建起养殖舍建筑信息模型；训练畜类关键点提取网络；将连续帧的畜类关键点热力图进行叠加，对相加的热力图结果进行阈值化处理、占比分析，输出相机实时刷新率等级，根据该等级实时调整摄像头刷新率并图像采集，进行图像拼接，在Web页面上对建筑信息模型进行可视化显示。利用本发明，实现了智能化的畜牧图像采集，不仅提高了畜类动物检测分析精度，降低了摄像头功耗，而且模型可视化结果更加丰富。

技术领域

本发明涉及人工智能、智慧畜牧、BIM技术领域，具体涉及一种基于畜类图像语义感知的养殖舍影像大数据采集分析方法。

背景技术

随着科技水平的提高，越来越多的科技产品应用到畜牧业中，如各式各样的传感器、监控摄像头等，为养殖环境、畜类行为的检测提供了基础。

然而在养殖环境的检测中，养殖舍的监控摄像头会带来巨大的数据量，监控视频的存储会有许多冗余数据，同时摄像头不能针对环境进行自适应的调整刷新率等，使得监控的成本会比较高。另一方面，现有的畜牧成像往往没有全局视角，而且畜牧养殖监控中各种信息较为分散。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于畜类图像语义感知的养殖舍影像大数据采集分析方法，实现了智能化的畜牧图像采集，不仅提高了畜类动物检测分析精度，降低了摄像头功耗，而且模型可视化结果更加丰富。

一种基于畜类图像语义感知的养殖舍影像大数据采集分析方法，该方法包括：

步骤一，以养殖舍信息数据为基础，建立三维养殖舍模型，构建起养殖舍建筑信息模型及其信息交换模块；

步骤二，利用布设在养殖舍内顶部墙壁或天花板的摄像头采集大量畜类图像，构成畜类图像训练集；

步骤三，对畜类图像训练集的图像进行畜类关键点标注，标注在每个畜牧动物的中心位置，将标注的畜类动物中心散点图与高斯核卷积得到畜类关键点热力图；

步骤四，将畜类图像训练集以及其对应的畜类关键点热力图标签数据输入畜类关键点提取网络，训练畜类关键点检测编码器、畜类关键点检测解码器；

步骤五，将摄像头实时采集的畜类图像输入训练好的畜类关键点提取网络，得到畜类关键点热力图；

步骤六，将连续帧的畜类关键点热力图进行叠加，对相加的热力图进行阈值化处理，大于或等于阈值的像素值设为255，小于阈值的像素值设为0；

步骤七，统计像素值为255的像素点在图像中的占比，并根据该占比与划分的占比区间的关系，输出相机实时刷新率等级；

步骤八，根据相机实时刷新率等级实时调整摄像头刷新率并进行图像采集；同时将各个摄像头拍摄的图像以及叠加的热力图进行拼接，形成完整的养殖舍图像、热力图图像，经透视变换处理后，投影到养殖舍建筑信息模型地面坐标系；

步骤九，养殖舍建筑信息模型中添加摄像头图像图层、叠加热力图图像图层，利用信息交互模块获取完整的养殖舍图像、热力图图像，添加到对应图层，结合WebGIS技术，在Web页面上对养殖舍建筑信息模型进行可视化显示。

畜类关键点检测编码器对畜类图像进行特征提取，输入为图像数据，输出为特征图；

畜类关键点检测解码器对特征图进行上采样并最终生成关键点热力图，其输入为畜类关键点检测编码器产生的特征图，输出为畜类关键点热力图。

步骤四中训练时采用的损失函数：

其中，P_ij代表畜类关键点在位置(i,j)处的得分，得分越高就越可能是畜类关键点，N代表真值热力图中的关键点数量，α、β为超参数。