[发明专利]一种农业生态多源异构大数据采集、处理与分析架构

摘要

本发明公开了一种农业生态多源异构大数据采集、处理与分析架构，涉及人工智能和数据挖掘分析技术领域，包括数据获取模块，所述数据获取模块与数据存储模块电连接，所述数据存储模块与数据预处理模块电连接，所述数据预处理模块与数据特征提取模块电连接，所述数据特征提取模块与并行挖掘与分析模块电连接，所述并行挖掘与分析模块与环境预测与展示模块电连接。本发明用于通过对农业生态多源异构大数据进行采集、处理与分析等处理步骤，从而实现对观测地区生态农业的全方位监测，有利于工作人员从分析结果判断观测地区生态农业的具体生产情况，非常有利于促进生态农业的发展。

主权项

1.一种农业生态多源异构大数据采集、处理与分析架构，其特征在于，包括数据获取模块(1)，所述数据获取模块(1)与数据存储模块(2)电连接，所述数据存储模块(2)与数据预处理模块(3)电连接，所述数据预处理模块(3)与数据特征提取模块(4)电连接，所述数据特征提取模块(4)与并行挖掘与分析模块(5)电连接，所述并行挖掘与分析模块(5)与环境预测与展示模块(6)电连接；所述数据获取模块(1)包括卫星遥感模块(7)、航空遥感模块(8)、无人机采集遥感信息模块(9)和布置传感网模块(10)，所述卫星遥感模块(7)是通过卫星遥感来获取观测地区农业的数据信息，所述航空遥感模块(8)是通过各种飞机、飞艇和气球作为传感器运载工具在空中获取观测地区农业的数据信息，所述无人机采集遥感信息模块(9)是通过无人机内的传感器获取目标物的电磁波信息，从而获取观测地区农业的数据信息，所述布置传感网模块(10)是通过在地面布置传感器网络来获取观测地区农业的数据信息；所述数据存储模块(2)包括HDFS模块(11)、Hive模块(12)和MySQL模块(13)，所述HDFS模块(11)是Hadoop分布式文件系统，具有高容错性的特点，并且部署在低廉的硬件上，同时放宽了POSIX的要求，可以以流的形式访问文件系统中的数据，所述Hive模块(12)是基于所述HDFS模块(11)的一种可以存储、查询和分析存储在Hadoop中大规模数据的机制，所述MySQL模块(13)是一个开放源码的小型关联式数据库管理系统；所述数据预处理模块(3)包括数据清洗模块(14)、几何校正模块(15)、数据融合模块(16)、去云及阴影处理模块(17)和大气校正模块(18)，所述数据清洗模块(14)是发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值，所述几何校正模块(15)用于消除或改正遥感影像的几何误差，所述数据融合模块(16)是将多传感器信息源的数据和信息加以联合、相关及组合，以便获得更为精确的位置估计和身份估计，从而实现对战场态势和威胁以及其重要程度的实时完整评价，所述去云及阴影处理模块(17)用于对遥感影像进行处理，达到去云和阴影的目的，所述大气校正模块(18)用于消除遥感影像中由大气散射和吸收引起的辐射误差；所述数据特征提取模块(4)包括土壤数据特征提取模块(19)、气象观测数据特征提取模块(20)、水文观测数据特征提取模块(21)和农作物生产数据特征提取模块(22)，所述土壤数据特征提取模块(19)用于对观测地区内的土壤数据信息进行特征提取，所述气象观测数据特征提取模块(20)用于对观测地区内的气象数据信息进行特征提取，所述水文观测数据特征提取模块(21)用于对观测地区内的水文数据信息进行特征提取，所述农作物生产数据特征提取模块(22)用于对观测地区内的农作物生产数据信息进行特征提取；所述并行挖掘与分析模块(5)包括大数据降维技术模块(23)、时间空间数据分析模块(24)和分布式大数据查询模块(25)，所述大数据降维技术模块(23)用于对农业生态的大数据使用主成分分析方法进行降维处理，所述时间空间数据分析模块(24)用于通过对观测地区的时空大数据使用机器学习算法和深度学习算法，从而对农业生态的时空大数据进行深入地挖掘与分析，所述分布式大数据查询模块(25)用于对农业生态多源异构大数据采用分布式大数据查询方法进行查询；所述环境预测与展示模块(6)包括农作物长势预测模块(26)、农作物产量预测模块(27)、农作物病虫害遥感预测模块(28)和可视化展示预测分析结果模块(29)，所述农作物长势预测模块(26)用于对观测地区的农作物长势进行预测，所述农作物产量预测模块(27)用于对观测地区的农作物产量进行预测，所述农作物病虫害遥感预测模块(28)用于对观测地区的农作物病虫害进行遥感预测，所述可视化展示预测分析结果模块(29)用于对预测分析结果进行可视化展示。