[发明专利]一种基于音视频信息融合的母猪哺乳行为识别方法

摘要

本发明公开了一种基于音视频信息融合的母猪哺乳行为识别方法，包括：采集哺乳期母猪俯视视音频数据，对原始视音频数据进行音频和视频画面提取，音频去噪、分帧，获取音频波形图序列，根据原始视频画面提取对应的光流图序列；将光流序列和视频帧输入预设外观‑运动双流网络提取视觉特征，将音频波形图序列输入预设听觉特征提取网络，之后拼接融合视觉和听觉特征，并输入预设长短期记忆网络提取时序视听觉特征，最后送入全连接层和软最大进行行为分类，输出哺乳行为类别。本发明利用了哺乳行为中的视觉和听觉信息，识别猪场环境下的母猪哺乳行为，从而获取母猪哺乳信息，有利于及时发现哺乳行为异常情况并采取有效措施，提高猪场经济效益。