[发明专利]基于FANet的农民劳作行为识别方法和装置、设备及介质

说明书

本发明涉及一种基于FANet的农民劳作行为识别方法和装置、电子设备及存储介质。该方法包括：建立农民劳作运动行为的数据集；构建FANet模型；将所述农民劳作运动行为的数据集输入到所述FANet模型进行训练；以及基于训练后的FANet模型，预测得到所述农民劳作行为的识别结果。本发明通过视频记录农民在劳作时的一系列运动动作变化，通过深度学习识别观察者的劳作动作类型。一方面，可以真实客观的记录农民的劳作行为，可以为农场管理和农产品追溯提供真实的客观数据；同时，较直接存储视频，可以有效的降低存储空间，提供结构化数据便于分析；另外，较人工监管，可以大幅度提高效率，减少人工成本。

技术领域

本发明总体涉及一种农民劳作行为识别方法，并且更特别地，涉及一种基于FANet的农民劳作行为识别方法和装置、电子设备及存储介质。

背景技术

现阶段，机器虽然被大量用到农业生产中，但人还是不可或缺的因素。农民的劳作较大的影响了食品安全，所以对农民的行为分析很有必要。一方面，农民行为识别有助于在农产品溯源中客观真实地记录农产品生产的每一个环节的信息，以便消费者购买农产品的时候，做到农产品信息的透明化。另一方面，农场、合作社、园区等新型经营主体的经营者在管理中，人员的劳作也是管理的重要组成部分，劳作的质量和数量直接影响到农产品的品质和企业的成本。从这两方面，都需要对农民的劳作行为进行记录。

现有的记录系统分为两类：1)农民打卡和填写；2)视频记录。针对第一种方式，农民打卡和填写，受限于农民使用信息系统的能力，完全记录具有较大困难，且用于溯源系统，由生产者填写数据，数据的真实性完全依赖生产主体本身的责任意识和道德意识，无法解决市场上存在的信任问题；针对第二种方式，视频虽然完全记录了农民的行为，但海量的视频信息，存储的成本较大，且不产生直接的有效信息，需要人力进行转化，较难实用。

发明内容

针对现有技术中的问题，本发明通过实现农民劳作运动的行为识别，填补农民劳作运动上的行为识别空白，为农民自动打卡提供实现基础，推进农产品溯源系统智能化进程。

第一方面，本发明提供一种基于FANet的农民劳作行为识别方法，包括：

建立农民劳作运动行为的数据集；

构建FANet模型；

将所述农民劳作运动行为的数据集输入到所述FANet模型进行训练；以及

基于训练后的FANet模型，预测得到所述农民劳作行为的识别结果。

进一步地，所述农民劳作行为包括喷农药、锄地、除草和插秧。

进一步地，所述建立农民劳作运动行为的数据集，包括：

对所述农民劳动行为的数据进行预处理，所述预处理包括：

将所述农民劳动行为的视频转换为图像序列；

将所述图像序列划分为视频段；

使用间隔式方式抽取所述视频段中的图像，形成样本集；以及

提取所述样本集中的农民运动区域。

进一步地，所述提取所述样本集中的农民运动区域，包括：定位、关联匹配和抓取运动区域；

所述定位包括：探测所述样本集中每张图像中的人体所在的区域；

所述关联匹配包括：以所述样本集中的一个样本中探测到的人体所在的区域为基准，利用最邻近值算法KNN进行人物关联匹配，形成分组；以及

所述抓取运动区域包括：提取不同分组的运动区域。

进一步地，在使用间隔式方式抽取所述视频段中的图像，形成所述样本集之前，所述方法还包括：剔除不存在农民或者场景切换时出现重叠的视频段。