[发明专利]一种基于音视频信息融合的母猪哺乳行为识别方法

说明书

本发明公开了一种基于音视频信息融合的母猪哺乳行为识别方法，包括：采集哺乳期母猪俯视视音频数据，对原始视音频数据进行音频和视频画面提取，音频去噪、分帧，获取音频波形图序列，根据原始视频画面提取对应的光流图序列；将光流序列和视频帧输入预设外观‑运动双流网络提取视觉特征，将音频波形图序列输入预设听觉特征提取网络，之后拼接融合视觉和听觉特征，并输入预设长短期记忆网络提取时序视听觉特征，最后送入全连接层和软最大进行行为分类，输出哺乳行为类别。本发明利用了哺乳行为中的视觉和听觉信息，识别猪场环境下的母猪哺乳行为，从而获取母猪哺乳信息，有利于及时发现哺乳行为异常情况并采取有效措施，提高猪场经济效益。

技术领域

本发明涉及智慧畜牧、多模态信息融合和交互行为识别的技术领域，尤其是指一种基于音视频信息融合的母猪哺乳行为识别方法。

背景技术

母猪哺乳行为不仅是母猪身体健康状况和母性行为能力的重要体现，也是影响哺乳期仔猪成活和生长的主要因素。观察母猪哺乳行为状态并及时发现哺乳行为异常有利于猪场管理者及时做出有效的人工干预决策，提高母猪及仔猪的身体健康状态，从而提高猪场经济效益。

目前，母猪哺乳行为的监测主要通过人工现场或者视频监控，以及基于视觉的行为监测方法。人工观察方式要求人工现场或者通过监控视频长时间观察母猪行为，并记录母猪哺乳行为发生时间、时长、频率等信息，再通过经验判断母猪哺乳行为是否异常，该方式耗时、耗力、主观性强且无法适应规模化养殖方式的发展。母猪哺乳行为是一种母猪和仔猪群的交互行为，当前基于视觉的母猪哺乳行为识别的研究鲜有报道，其方式主要基于母猪在哺乳过程中表现的视觉信息，如母猪侧躺，暴露乳房，仔猪趴窝在母猪乳房进行吸乳运动等特点，通过算法分析自动获取母猪哺乳行为信息。但由于猪舍环境光线变化、仔猪群拥挤、遮挡等，导致部分视觉信息无法获取，影响哺乳行为判断与分析。

综上，现有母猪哺乳行为监测方法均不适于或难于识别母猪哺乳行为。鉴于此，亟需提供一种母猪哺乳行为自动识别方法，以实现对母猪哺乳行为的准确监测。由于母猪哺乳时伴有规律的哺乳声，因此，本发明提供一种基于音视频信息融合的母猪哺乳行为识别方法，通过视、音频信号相互协同辅助，以实现对母猪哺乳行为的精确监测。

发明内容

本发明目的在于克服现有技术难以准确识别母猪哺乳行为的缺点与不足，提出了一种基于音视频信息融合的母猪哺乳行为识别方法，为及时做出有效的管理决策提供数据支持，提高猪只健康状况和猪场经济效益。

为实现上述目的，本发明所提供的技术方案为：一种基于音视频信息融合的母猪哺乳行为识别方法，包括以下步骤：

1)采集哺乳期母猪音视频数据；

2)数据预处理：首先分离出音、视频数据，然后对音频数据进行去噪、分帧并获取音频波形图序列，最后对视频数据进行光流提取，获取光流图像序列；

3)将视频帧和光流图像序列输入预设的外观-运动双流网络进行特征提取，获得视觉特征，将音频波形图序列输入预设的听觉特征提取网络，获得听觉特征；

4)将视觉特征和听觉特征输入长短期记忆网络进行进一步特征融合和提取，获取时序视听觉特征；

5)将时序视听觉特征送入全连接层和软最大分类器进行行为分类，实现母猪哺乳行为自动识别。

在步骤1)中，在猪舍正上方安装具有录音功能的摄像头，采集哺乳期母猪俯视视频及音频数据。

所述步骤2)包括以下步骤：

2.1)从拍摄的音视频数据中分离出音频和视频数据；

2.2)利用带通滤波器对原始音频信号进行处理，获得与原始音频信号对应的去噪后的音频信号；

2.3)对去噪后的音频信号进行分帧，帧长度为30ms，帧间重叠10ms，并将音频信号转换为音频波形图序列；