[发明专利]一种基于编解码网络的生猪骨架提取方法及评价方法

说明书

本发明公开了一种基于编解码网络的生猪骨架提取方法及评价方法，包括以下步骤，基于ResNet50残差网络和U‑Net语义分割网络的相结合搭建编解码网络结构，并同时引入注意力机制的门控模块增强特征提取结果，生成包含位置信息的关键点热力图H；生成所述关键点热力图H的同时预测关键点偏移量，并利用霍夫投票机制将关键点偏移特征矩阵和输出的所述关键点热力图H聚合，得到精确定位的关键点位置后重新映射到原图，把关键点相连后提取出生猪骨架。本发明的有益效果：能够在光照条件不稳定、生猪运动剧烈的情况下实时的提取出生猪骨架，对于输入分辨率大小为1280x720的视频，平均均方根误差为23.43像素，骨架提取准确率为85.27％。

技术领域

本发明涉及动物骨架提取的技术领域，尤其涉及一种基于编解码网络的生猪骨架提取方法及基于编解码网络提取生猪骨架评价方法。

背景技术

骨架信息能够准确反应出生猪姿态及运动过程中猪体各部位的变化，可为生猪运动跟踪、步态识别、行为检测提供重要参考；因此在复杂的实际猪舍环境下进行生猪骨架的自动识别和提取，对提高养殖场经济效益和猪福利都有着深远的意义。

现有动物骨架的提取主要采用模型法和形态学法，近年来深度学习技术在骨架提取和关键点检测领域大放异彩，特别是在人体的姿态估计和骨架提取方面已经颇有建树，基于深度学习提取人体或动物骨架的研究较多，也取得了不错的效果，但与生猪骨架提取相关的研究却鲜有报道。实际猪舍环境光照条件差，图像中猪体与背景不易区分，这些问题导致生猪骨架提取难度较大。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明解决的技术问题是：提出一种基于编解码网络的生猪骨架提取方法，能够在实际的猪舍场景下准确、快速的提取出生猪骨架，为后续生猪的姿态识别和行为分析奠定基础。

为解决上述技术问题，本发明提供如下技术方案：一种基于编解码网络的生猪骨架提取方法，包括以下步骤，采集生猪各类姿态数据并构建原始数据集；所述原始数据集进行数据集增广后，区分为训练集和测试集；建立骨架模型并对骨架上的关键点进行人工标注；基于ResNet50残差网络和U-Net语义分割网络的相结合搭建编解码网络结构，并同时引入注意力机制的门控模块增强特征提取结果；将增强的所述特征提取结果依次经过关键点分类、高斯滤波后生成包含位置信息的关键点热力图H；生成所述关键点热力图H的同时预测关键点偏移量，并利用霍夫投票机制将关键点偏移特征矩阵和输出的所述关键点热力图H聚合，得到精确定位的关键点位置后重新映射到原图，把关键点相连后提取出生猪骨架。

优选的，所述骨架模型包括以下建立步骤，依据解剖学上猪关节的定义建立猪的骨架模型；将所述骨架模型分为上半身区域和下半身区域，共14个关键点，上半身区域定义6个点，分别包括头部区域的头、鼻和主体区域的尾巴、髋部、脊背中心点以及肩膀，下半身区域分为8个点，分别代表了四肢的肘、蹄关节；定义骨架关键点之间的连接关系。

优选的，所述编解码网络结构包括编码单元和解码单元；所述编码单元保留ResNet50的特征提取主体，去除分类的平均池化层和全连接层；所述解码单元定义三个解码块，每个所述解码块接受融合特征矩阵Merge，进行步长为1、3*3的卷积操作降维后，得到特征矩阵FC，再经过sigmoid激活函数得到尺寸为原图的1/4，通道数为k的关键点分类特征图Y。

优选的，引入所述注意力机制包括以下步骤，结合注意力机制的门控模块，将注意力作用在用作特征融合的跳跃连接上；通过深层次特征对浅层次特征的指导，对浅层次特征的不同区域进行权重再分配，赋予关键点特征高权重，背景特征低权重。