[发明专利]海量农田数据的监控方法和系统

说明书

技术领域

本发明涉及计算机技术领域，特别是涉及一种海量农田数据的监控方法和系统。

背景技术

我国是农业大国，幅员辽阔，土壤类型众多，作物品种复杂，我国曾进行过多次农业普查，科技人员通过各种方式积累了大量与农业生产密切相关的属性数据和空间数据，这些数据具有多维，动态，不确定，不完整，时空变异性强等特点，能具体的反应了农业生产作业的真实情况。传感器是农业科技人员采集田间信息获取数据的常用方法，这些数据除了上述特点外还有大量、集中、持续性的特点。因此实时接收具有如上属性的农田数据是当前研究热点。

当前处理多连接数据接收的方式主要是动态线程池分配方式，根据在线客户端的数目动态增减线程，提高服务器响应速度，避免频繁切换线程带来系统开销。

目前的农田数据系统可高效实现数据的录入、查询、统计功能，但是无法根据已有数据进行预测，无法发现数据之间的关系，而数据挖掘技术能够发现数据之间的关系，因此可以解决农业领域“数据丰富知识贫乏”的现象。传统的决策树算法因其构造速度快，生成模型简单，精度高等优点而广受欢迎，是数据挖掘中重要的分类方法，然而决策树算法是内存驻留算法，即生成整个决策树过程的所有数据计算必须同时在内存中，并且只能在单机上运行，因此只能适用于小规模的数据输入，当数据挖掘的对象是一个庞大的数据集时，往往因计算量的增大而速度减慢甚至无法运行，大大影响算法的伸缩性，这是该算法的瓶颈。

综上所述，现有的农田数据分析方式，无法完成庞大数据的计算，使得农田信息采集系统彼此独立，封闭运行，信息难于集成分析和共享，如何有效的将数据融合分析，是当前农业信息化进程中的重要问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的适于海量农田数据的监控方法及相应的系统。

依据本发明的一个方面，提供一种海量农田数据的监控方法，包括：

通过微型无线传感器节点实时采集不同属性的农田数据；

通过云计算的方式计算不同属性的农田数据对农田的影响度并作为计算结果；

将计算结果通过网络显示给用户。

可选地，通过云计算的方式计算不同属性的农田数据对农田的影响度并作为计算结果，包括：

接收不同属性的农田数据；

将对不同属性的农田数据的计算任务发送到云平台的不同的处理机上，执行对不同属性的农田数据对农田影响度的计算；

对不同的处理机上得到的中间计算结果进行归约；

根据进行归约后的数据得到计算结果。

可选地，接收不同属性的农田数据，包括：

开启预设数量的数据接收线程；

创建静态线程池，并以I/O端口复用的方式创建实时监听端口，使数据接收线程通过实时监听端口接收不同属性的农田数据。

可选地，在将对不同属性的农田数据的计算任务发送到云平台的不同的处理机上之前，还包括：

对不同属性的农田数据进行预处理；

其中，预处理包括数据清洗、数据集成、空值处理和连续数据离散化。

可选地，将对不同属性的农田数据的计算任务发送到云平台的不同的处理机上，包括：

创建空闲处理机队列；

将不同属性的农田数据划分为多个训练子集；

将对多个训练子集的计算任务分别分配到空闲处理机队列中的处理机；

其中，当任意一个处理机完成对其对应的训练子集的计算时，将该处理机重新放置到空闲处理机队列中。

可选地，根据进行归约后的数据得到计算结果，包括：

对进行规约后的数据进行哈希映射，建立哈希表；

通过哈希查询计算各个训练子集中每个属性的增益率；

选取最大增益率的属性构造决策树，并将决策树作为计算结果。

可选地，在选取最大增益率的属性构造决策树之后，还包括：

抽取决策树中的分类规则，采用交叉验证法对决策树的精确度进行评估。

依据本发明的一个方面，还提供了一种海量农田数据的监控系统，包括：

数据采集模块，配置为通过微型无线传感器节点实时采集农田数据；

数据处理中心模块，配置为通过云计算的方式计算不同属性的农田数据对农田的影响度并作为计算结果；

显示模块，配置为将计算结果通过网络显示给用户。

可选地，数据处理中心模块包括：

数据接收单元，配置为接收不同属性的农田数据；