[发明专利]生猪行为自动监测系统及方法

权利要求书

1.一种生猪行为自动监测系统，其特征在于，所述系统包括依次相连的多模态信息采集模块、多模态信息融合模块和行为识别模块，其中：

所述多模态信息采集模块包括一个或多个摄像机，用于通过摄像机采集生猪养殖的视频信息，还包括多个微型传感器，用于通过微型传感器采集每个生猪个体的时序运动信息，所述时序运动信息包括生猪个体运动的加速度或运动方向；

所述多模态信息采集模块通过有线或无线的方式将采集到的多模态信息发送给所述多模态信息融合模块，所述多模态信息包括摄像机采集的视频信息和微型传感器采集的时序运动信息；

所述多模态信息融合模块用于将所述多模态信息中的视频信息与时序运动信息进行对齐同步，获得每个生猪个体的多模态信息，然后对每个生猪个体的多模态信息进行特征抽取，并将得到的每个生猪个体的多模态特征发送给所述行为识别模块；

所述行为识别模块用于根据每个生猪个体的多模态特征，识别出每个生猪个体的静态行为或动态行为。

2.根据权利要求1所述的生猪行为自动监测系统，其特征在于，所述多模态信息采集模块包括视频信息采集子模块、传感器信息采集子模块和数据传输子模块，其中：

所述视频信息采集子模块包括一个或多个摄像机，用于通过摄像机采集生猪养殖的视频信息，并将采集的视频信息传送给所述数据传输子模块；

所述传感器信息采集子模块包括多个微型传感器，用于通过微型传感器采集每个生猪个体的时序运动信息，并将采集的时序运动信息传送给所述数据传输子模块；

所述数据传输子模块用于通过有线或无线的方式将接收到的多模态信息发送给所述多模态信息融合模块。

3.根据权利要求1或2所述的生猪行为自动监测系统，其特征在于，所述多模态信息融合模块包括对齐同步子模块和特征抽取子模块，其中：

所述对齐同步子模块用于接收来自所述多模态信息采集模块的多模态信息，将所述多模态信息中的视频信息与时序运动信息进行对齐同步，获得每个生猪个体的多模态信息，并将每个生猪个体的多模态信息传送给所述特征抽取子模块；

所述特征抽取子模块用于对每个生猪个体的多模态信息进行特征抽取，并将得到的每个生猪个体的多模态特征发送给所述行为识别模块。

4.根据权利要求3所述的生猪行为自动监测系统，其特征在于，所述特征抽取子模块用于从每个生猪个体的视频信息中提取生猪个体的形状特征和关键语义场景的语义特征，并从每个生猪个体的时序运动信息中提取时域特征和频域特征，然后将得到的每个生猪个体的多模态特征发送给所述行为识别模块，所述多模态特征包括生猪个体的形状特征、语义特征、时域特征和频域特征。

5.根据权利要求4所述的生猪行为自动监测系统，其特征在于，所述行为识别模块包括行为分类子模块、静态行为识别子模块和动态行为识别子模块，其中：

所述行为分类子模块用于接收每个生猪个体的多模态特征，并根据生猪个体的时域特征，判定生猪个体的行为属于静态行为还是动态行为，若判定结果是静态行为，则将生猪个体的多模态特征传送给所述静态行为识别子模块，若判定结果是动态行为，则将生猪个体的多模态特征传送给所述动态行为识别子模块；

所述静态行为识别子模块用于根据接收到的生猪个体的多模态特征，识别出生猪个体的静态行为；

所述动态行为识别子模块用于根据接收到的生猪个体的多模态特征，识别出生猪个体的动态行为。

6.一种应用如权利要求1-5中任一项所述的生猪行为自动监测系统的生猪行为自动监测方法，其特征在于，所述方法包括以下步骤：

S1、所述多模态信息采集模块通过摄像机采集生猪养殖的视频信息，并通过微型传感器采集每个生猪个体的时序运动信息，然后通过有线或无线的方式将采集到的多模态信息发送给所述多模态信息融合模块，所述多模态信息包括摄像机采集的视频信息和微型传感器采集的时序运动信息；

S2、所述多模态信息融合模块将所述多模态信息中的视频信息与时序运动信息进行对齐同步，获得每个生猪个体的多模态信息，然后对每个生猪个体的多模态信息进行特征抽取，并将得到的每个生猪个体的多模态特征发送给所述行为识别模块；

S3、所述行为识别模块根据每个生猪个体的多模态特征，识别出每个生猪个体的静态行为或动态行为。