[发明专利]一种基于生态环境大数据框架的主从数据共享模式

权利要求书

1.一种基于生态环境大数据框架的主从数据共享模式，其特征在于，包括以下步骤：

S1、在主线上，根据生态环境领域不同监测站数据的更新策略，采取不同的模式定时采集数据。

S2、按照数据的类型及其特征，将S1中采集到的数据通过数据清理、数据集成、数据变换操作对数据进行规范化处理，最后将处理好的数据存储在系统数据库中。

S3、在从线上，接收用户共享的生态环境数据集，系统自动判断数据集的类别。若该数据集的类别和S1中数据的类别一致，并且数据集的质量通过了人工的检验，则将该数据集与主线上的数据进行规范化合并。否则，将该数据集存储在用户数据库中。

S4、数据共享子系统接收用户的数据请求，通过审核后执行数据共享请求。

2.如权利要求1所述的一种基于生态环境大数据框架的主从数据共享模式，其特征在于：步骤S1中不同的模式包括一天采集一次、每隔四个小时采集一次、每小时采集一次。

3.如权利要求1所述的一种基于生态环境大数据框架的主从数据共享模式，其特征在于：步骤S1包括：

S11、系统在指定的采集时间点触发对应的采集任务程序。

S12、采集任务程序按照接口的格式模拟浏览器向接口所在的服务器发送HTTP/HTTPS请求。

S13、根据HTTP/HTTPS协议对服务器返回的报文进行解析，从而获取到响应体中的数据部分。

4.如权利要求1所述的一种基于生态环境大数据框架的主从数据共享模式，其特征在于：步骤S2中数据的类型包括：字符串、整型、浮点型、布尔型、日期。

5.如权利要求1所述的一种基于生态环境大数据框架的主从数据共享模式，其特征在于：步骤S2中数据的特征具体为：采集的数据主要以半结构化数据为主，以非结构化数据为辅。异源同类别数据的一致性较差，具体表现为单位、度量、数据属性命名不一致。

6.如权利要求1所述的一种基于生态环境大数据框架的主从数据共享模式，其特征在于：步骤S2包括：

S21、根据不同的数据模型遵循不同的方法(对于非结构化数据文本，则使用正则表达式解析数据。而对于半结构化数据(通常为JSON数据)，通过站点提供的文档以及专业经验推断出具体的属性含义，从而解析出对应的数据)，从而抽取出所需的数据。

S22、纠正数据中的错误(包括数据值错误、数据类型错误、数据编码错误)

S23、检测数据中是否存在重复记录或重复字段，对于这些重复项目需要进行去重处理。若存在不同来源的重复记录或者在相同时间点存在多条监测数据，则按照“生态环境部优先于直属单位，直属单位优先于用户共享的，用户共享的优先于进行过缺失值补全的”原则保留数据。

S24、对数据按照预设的标准统一数据规格，包括字段的单位、类型、名称、格式、计数方法。

S25、对数据按照相应的逻辑进行异常值检测。若发现异常值，就将该字段值置为空。

S26、按照一定的逻辑补全缺失值，同时标记该属性值为补全值。具体为：按照缺失值的不同类别分别补全，。若缺失值对应的属性属于站点的详细信息类别，通过查询站点字典补全缺失值，或者人工进行补全；若缺失值对应的属性属于日期时间类别，则根据采集时间查找同时同源数据，进而补全缺失值；若缺失值对应的属性属于业务类别，则以该属性存在值的平均值来插补缺失的值。

S27、将经过处理的数据存储在系统数据库。