[发明专利]一种水环境大数据交换方法

说明书

本发明提供的水环境大数据交换方法，涉及计算机技术领域，包括：建立水环境监测数据收集交换的目录体系，用于实现各监测要素数据的顺序交换；构建水环境监测数据采集交换系统，用于收集数据提供方提供的水环境数据在数据交换平台中心端共享，并根据数据使用方或数据提供方的需求分发其目标水环境数据至其对应服务器；建立水环境数据传输与评价电子系统，用于水环境数据的及时性、完整性和准确性传递；建立水环境数据采集传输网络与安全保障体系，用于水环境数据的安全传输；本发明支持NoSQL数据库及关系型的数据库，可有效扩展可存储的数据类型，同时采用分布式的技术显著提升数据读取与写入的效率。

技术领域

本发明涉及计算机技术领域，具体涉及一种水环境大数据交换方法。

背景技术

数据交换指在多个数据终端设备(DTE)之间，为任意两个终端设备建立数据通信临时互连通路的过程。信息发送方的数据在发送前，首先进行加密、压缩并按规则封装成一个个的数据包，然后进行发送；接收方收到消息后，首先对数据进行初步的校验和解析，确定数据没问题后按规则整编，最后保存到相应数据库内完成数据交换的一个单方向传输。

在传统的数据交换平台实现数据交换时，一般包含中心节点、前置交换节点、桥接程序，每一个交换节点包括了一组输入接口和输出接口，通过接口可以向交换节点写入数据或读取数据，在每一个端节点前置机上带有一个前置交换库，用于存放交换数据；前置交换过程一条数据的交换会有3次写入与3次读取的过程，同时这个过程也会受载体(服务器资源)或系统性能(数据库的IO速度)因素的影响，当数据量不多时，多次的写入与读取不会对数据交换的效率产生明显影响，但当数据交换量到了一定的级别，如单次交换上亿条数据，那么就会直接影响到交换效率，而这种交换效率的影响不能单纯通过硬件的升级进行优化提升，需要架构进行调整优化。

随着物联网的发展，各种物联网设备实时采集的数据量在不断提升，传统的技术已无法满足对海量数据处理的需求，例如，现有政务数据交换平台主要是基于ETL技术实现，在数据的抽取、转换及加载过程中会因软硬件资源的配置而受影响，另外数据交换平台在建设初期数据交换量不多的情况下，一般都是采用单节点的设计，这种设计在数据量及数据交换任务不多的情况下可正常运行，然而随着国家把大数据上升为国家战略层面，生态环境部要求各省市都需要实现数据的共享、交换与开放，导致业务系统数据量激增，数据交换越来越频繁。这种单节点设计的弊端逐渐暴露出来，在数据交换高峰时，由于单台服务器或传统技术性能的限制，许多数据交换任务来不及处理，造成大量数据交换任务的积压，使数据交换平台逐渐成为信息化建设的瓶颈。

面对越来越多的数据存量及交换场景，数据交换平台迫切需要寻找一个可提供交换效率的数据交换方法。

发明内容

本发明目的在于提供一种水环境大数据交换方法，该方法基于流式计算可有效对海量任务进行及时处理和分配，通过有效提高对海量数据交换的处理效率，提高数据交换方法的整体效率。

为达成上述目的，本发明提出如下技术方案：一种水环境大数据交换方法，包括如下步骤：

1)建立水环境监测数据收集交换的目录体系，包括预设水环境监测要素、预设各监测要素的动态管理目标，并确定各监测要素监测数据的交换顺序；

2)构建水环境监测数据采集交换系统，所述水环境监测数据采集交换系统包括数据交换平台中心端、若干数据提供方和若干数据使用方，所述数据交换平台中心端、任一数据提供方和任一数据使用方均配置有一数据共享与交换服务器，所述水环境监测数据采集交换系统用于收集各数据提供方提供的水环境数据在数据交换平台中心端共享，并根据数据使用方或数据提供方的需求分发其目标水环境数据至其对应服务器，实现多数据提供方水环境数据在多数据使用方的交换与共享；

3)建立水环境数据传输与评价电子系统，包括预设水环境数据采集规范、水环境数据传输流程、水环境数据交换流程、水环境数据审核标准和水环境数据评价标准，水环境数据传输与评价电子系统用于确保水环境数据的及时性、完整性和准确性传递；