[发明专利]一种数据处理方法及系统

说明书

技术领域

本发明属于数据处理领域，尤其涉及一种数据处理方法及系统。

背景技术

随着科学技术的飞速发展，各个领域应用的数据量也越来越繁杂和庞大，例如在气象领域，有温度、湿度、气压、风速、风向等基本气象数据。因此，需要对这些数据进行收集和处理，以便应用到各个领域中来便利人们的生活。

然而，在对现有技术的研究与实践中，本发明的发明人发现，现有技术存在以下问题：现有的数据有来自于其他部门共享的excel、word等文件，有来自于本部门各种业务系统产生的Oracal、MySQL等数据库数据，有来自于多种探测设备自动生成的文件格式的文件，气象数据比较分散且多种多样，导致数据采集以及处理效率低。

发明内容

本发明实施例提供一种数据处理方法及系统，旨在解决现有技术中存在气象数据比较分散且多种多样，需要采用不同的设备进行采集和处理，导致数据处理效率低的问题。

本发明实施例是这样实现的，一种数据处理系统，包括：

数据采集装置，用于获取数据源的最新数据数量，根据数据源的类型以及最新数据数量获取对应的数据采集方式，并根据数据采集方式对最新数据进行采集，其中，数据源的类型包括数据库服务器以及文件服务器；

数据调度装置，用于根据数据类型与数据处理装置的对应关系，将最新数据发送到对应的数据处理装置中；

多个数据处理装置，用于根据预设的数据处理方式对最新数据进行处理，其中，预设的处理方式包括规整运算以及数据统计；

数据调度装置，还用于根据数据中心的订阅内容，将与订阅内容对应的处理后的数据发送给数据中心。

本发明实施例还提供一种数据处理方法，包括：

采集装置获取数据源的最新数据数量，根据数据源的类型以及最新数据数量获取对应的数据采集方式，并根据数据采集方式对最新数据进行采集，其中，数据源的类型包括数据库服务器以及文件服务器；

数据调度装置根据数据类型与数据处理装置的对应关系，将最新数据发送到对应的数据处理装置中；

数据处理装置根据预设的数据处理方式对最新数据最新处理，其中，预设的处理方式包括规整运算以及数据统计；

数据调度装置根据数据中心的订阅内容，将与订阅内容对应的处理后的数据发送给数据中心。

本发明实施例提供的数据处理方法及系统，通过数据采集装置根据数据源的类型以及最新数据数量获取对应的数据采集方式，并根据数据采集方式对最新数据进行采集后，再由数据调度装置根据数据类型与数据处理装置的对应关系，将采集到的最新数据发送到对应的数据处理装置中，数据处理装置根据预设的数据处理方式对最新数据进行处理后发送到数据中心，实现了不同类型数据的并行采集，以及不同类型数据的分发处理，并根据不同用户的订阅需要将数据发送给不同的数据中心，提高数据处理效率。

附图说明

图1是本发明实施例提供的数据处理系统的应用环境图；

图2是本发明实施例提供的数据处理系统的结构示意图；

图3是本发明另一实施例提供的数据处理系统的结构示意图；

图4是本发明另一实施例提供的数据处理系统的结构示意图；

图5是本发明实施例提供的数据处理方法的实现流程图；

图6是本发明另一实施例提供的数据处理方法的实现流程图；

图7是本发明另一实施例提供的数据处理方法的实现流程图；

图8是本发明另一实施例提供的数据处理方法的时序图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供的数据处理系统，通过数据采集装置根据数据源的类型以及最新数据数量获取对应的数据采集方式，并根据数据采集方式对最新数据进行采集后，再由数据调度装置根据数据类型与数据处理装置的对应关系，将采集到的最新数据发送到对应的数据处理装置中，数据处理装置根据预设的数据处理方式对最新数据进行处理后发送到数据中心，实现了不同类型数据的并行采集及分发处理，提高数据处理效率，方便用户对数据进行集中管理与共享。

图1示出了本发明实施例提供的数据处理系统的应用环境图，数据处理系统从数据源获取数据处理后发送到对应的数据中心。