[发明专利]基于视频的猪只行为识别系统及方法

权利要求书

1.基于视频的猪只行为识别方法，其特征在于，包括以下步骤：

实时获取群养猪栏内所有猪只的视频图像信息；

基于YOLOv3猪只检测模型检测视频帧中猪只目标位置信息，并基于DeepSort多目标跟踪算法对检测到的猪只目标进行跟踪，获得猪只目标的运动轨迹；

调用OpenPose关键点检测模型，提取视频帧中猪只目标的猪只骨架关键点信息；

将连续提取的多帧猪只目标的猪只骨架关键点信息输入基于时空图卷积的猪只行为识别模型，预测猪只行为类别；

针对预测的猪只行为类别进行记录与提示。

2.如权利要求1所述的基于视频的猪只行为识别方法，其特征在于，基于DeepSort多目标跟踪算法对检测到的猪只目标进行跟踪，获得猪只目标的运动轨迹，具体包括：

基于DeepSort多目标跟踪算法对检测到的猪只目标进行跟踪，匹配不同视频帧中相同的猪只目标并获得猪只目标的运动轨迹；

采用卡尔曼滤波算法预测猪只目标的运动轨迹；

关联预测的猪只目标的运动轨迹与检测到的猪只目标的运动轨迹之间的马氏距离；

若关联的马氏距离小于设定阈值，则以检测到的猪只目标的运动轨迹为该猪只目标的运动轨迹。

3.如权利要求1所述的基于视频的猪只行为识别方法，其特征在于，基于YOLOv3猪只检测模型检测视频帧中猪只目标位置信息之前，还包括构建猪只检测数据集，训练YOLOv3猪只检测模型。

4.如权利要求1至3任一项所述的基于视频的猪只行为识别方法，其特征在于，调用OpenPose关键点检测模型，提取视频帧中猪只目标的猪只骨架关键点信息之前，还包括构建猪只骨架关键点训练数据集，训练OpenPose关键点检测模型，具体包括：

根据猪只的骨架结构设计猪只骨架关键点标注方案，保证猪只的骨架关系，构建猪只骨架关键点数据集；

使用Lableme软件对预先采集的大量猪栏内猪只图像进行关键点信息标注，生成关键点标注文件，构建猪只骨架关键点训练数据集；

将猪只骨架关键点训练数据集输入OpenPose关键点检测模型，训练OpenPose关键点检测模型。

5.如权利要求3所述的基于视频的猪只行为识别方法，其特征在于，

提取的猪只二维骨架关键点信息包括：鼻子、右眼、左眼、左耳、右肩、右前膝、右前蹄、右臀、右后膝、右后蹄、左肩、左前膝、左前蹄、左臀、左后膝、左后蹄、猪背、猪肚、猪尾共20个猪只骨架关键点，以及相连的24段猪只关键点连接对。

6.如权利要求1所述的基于视频的猪只行为识别方法，其特征在于，将连续提取的多帧猪只目标的骨架关键点信息输入基于时空图卷积的猪只行为识别模型之前，还包括训练基于时空图卷积的猪只行为识别模型，具体包括：

采集大量猪只视频图像，人工截取猪只行为视频段，并人工标记每一视频段对应的猪只行为类别；

基于OpenPose关键点检测模型提取猪只行为视频段中猪只骨架关键点信息，构建猪只行为骨架关键点数据集；

将猪只行为骨架关键点数据集输入基于时空图卷积的猪只行为识别模型，训练得到基于时空图卷积的猪只行为识别模型。

7.如权利要求1所述的基于视频的猪只行为识别方法，其特征在于，将针对预测的猪只行为类别进行记录与提示，具体包括：

若预测的猪只行为类别为异常行为，则发出警报并记录异常行为；

若预测的猪只行为类别为正常行为，则记录猪只的活动量；

猪只的正常行为包括：站立、行走及平躺；

猪只的异常行为包括：撕咬及打斗。