[发明专利]一种基于音视频信息融合的母猪哺乳行为识别方法

权利要求书

1.一种基于音视频信息融合的母猪哺乳行为识别方法，其特征在于，包括以下步骤：

1）采集哺乳期母猪音视频数据；

2）数据预处理：首先分离出音、视频数据，然后对音频数据进行去噪、分帧并获取音频波形图序列，最后对视频数据进行光流提取，获取光流图像序列；

3）将视频帧和光流图像序列输入预设的外观-运动双流网络进行特征提取，获得视觉特征，将音频波形图序列输入预设的听觉特征提取网络，获得听觉特征；其中，所述外观-运动双流网络由外观流和运动流组成，分别以视频帧和光流序列作为输入，然后经过5层卷积层和5层下采样层后输出相同维度的特征图，两流特征图通过拼接的方式融合后送入2层卷积层进行特征提取和融合，融合后的特征图送入连续2层全连接层，输出表示外观和运动的一维视觉特征；

4）将视觉特征和听觉特征输入长短期记忆网络进行进一步特征融合和提取，获取时序视听觉特征；

5）将时序视听觉特征送入全连接层和软最大分类器进行行为分类，实现母猪哺乳行为自动识别。

2.根据权利要求1所述的一种基于音视频信息融合的母猪哺乳行为识别方法，其特征在于：在步骤1）中，在猪舍正上方安装具有录音功能的摄像头，采集哺乳期母猪俯视视频及音频数据。

3.根据权利要求1所述的一种基于音视频信息融合的母猪哺乳行为识别方法，其特征在于，所述步骤2）包括以下步骤：

2.1）从拍摄的音视频数据中分离出音频和视频数据；

2.2）利用带通滤波器对原始音频信号进行处理，获得与原始音频信号对应的去噪后的音频信号；

2.3）对去噪后的音频信号进行分帧，帧长度为30ms，帧间重叠10ms，并将音频信号转换为音频波形图序列；

2.4）利用光流法根据待监测的哺乳期母猪原始图像序列获取待监测哺乳期母猪的光流图像序列。

4.根据权利要求1所述的一种基于音视频信息融合的母猪哺乳行为识别方法，其特征在于，所述步骤3）包括以下两种处理：

a、将视频帧和光流图像序列输入预设的外观-运动双流网络，经过外观-运动双流网络的卷积层、下采样层和全连接层，对视频帧和光流图像序列提取视频中对应的外观-运动特征，并输出一维视觉特征向量；其中，在将视频帧和光流图像序列输入预设外观-运动双流网络之前，需先对预设的外观-运动双流网络进行训练，具体如下：

获取带有哺乳行为标记的原始视频帧和光流图像序列；将带有哺乳行为标记的原始视频帧和对应的光流图像序列输入外观-运动双流网络进行训练，获取外观-运动双流网络的最优网络参数；

b、将音频波形图序列输入预设的听觉特征提取网络，经过听觉特征提取网络的卷积层、下采样层和全连接层，输出一维听觉特征向量；其中，在将音频波形图序列输入预设的听觉特征提取网络之前，需先对预设的听觉特征提取网络进行训练，具体如下：

获取带有哺乳行为标记的原始音频数据；采用带通滤波器对原始音频信号进行去噪；对去噪后的音频信号进行分帧，帧长度为30ms，帧间重叠10ms；将分帧后的音频信号转换为音频波形图序列，获得原始音频信号对应的音频波形图序列；将带有哺乳行为标记的音频波形图序列输入预设的听觉特征提取网络进行训练，获取听觉特征提取网络的最优网络参数；

所述步骤4）包括以下步骤：

4.1）将一维视觉特征向量和一维听觉特征向量进行堆积拼接，获得视听觉特征；

4.2）将视听觉特征送入预设的长短期记忆网络中进行特征提取，输出时序视听觉特征；

其中，将视听觉特征送入预设的长短期记忆网络之前，需先对预设的网络进行训练，具体如下：

获取带有行为标记的原始视、音频序列样本，根据带有行为标记的原始视频序列获得对应的光流图像序列样本，并根据带有行为标记的原始音频序列样本获得去噪后的音频波形图序列样本；

将带有行为标记的原始视频帧和光流序列输入预设的外观-运动双流网络提取视觉特征，将音频波形图序列样本输入预设的听觉特征提取网络提取听觉特征；

将听觉特征和视觉特征进行堆积拼接，输入预设的长短期记忆网络进行训练，获取最优网络参数。

5.根据权利要求1所述的一种基于音视频信息融合的母猪哺乳行为识别方法，其特征在于，所述步骤5）包括以下步骤：

5.1）将时序视听觉特征输入一个全连接层进一步进行特征提取和整合，获得2个特征值，分别对应哺乳行为和非哺乳行为的特征取值；

5.2）将哺乳行为和非哺乳行为的特征取值输入软最大分类器中计算2个特征对应哺乳行为和非哺乳行为的概率取值，将概率最大者所属行为类别作为行为识别结果，从而实现母猪哺乳行为识别。