[发明专利]一种多源异构水环境大数据管理系统

权利要求书

1.一种多源异构水环境大数据管理系统，其特征在于，包括水环境大数据清洗单元、水环境大数据交换单元和元数据管理单元，所述水环境大数据清洗单元用于对其获取的多源异构水环境的数据进行清洗，所述水环境大数据交换单元用于对水环境大数据清洗单元清洗后的水环境数据进行数据交换，所述元数据管理单元用于建立多源异构水环境资源目录、形成多源异构水环境智慧监管平台，对多源异构水环境的数据进行跟踪分析；

所述水环境大数据清洗单元包括如下模块：

获取模块，用于获取水环境数据的数据集，对数据集进行数据分析，检测并归纳数据集中存在的脏数据分类及特点；

制定模块，用于根据数据分析获得的脏数据分类及特点初步制定脏数据的清洗转换规则；

第一建立模块，用于根据数据集、数据分析结果和清洗转换规则建立数据清洗模型；

样本验证模块，用于选取数据集中的脏数据样本按照对应的清洗转换规则执行数据清洗，验证数据清洗质量；

改进模块，用于当脏数据样本数据清洗质量不满足预设数据质量要求，调整数据清洗模型参数，并改进对应的清洗转换规则，获得满足预设数据质量要求的清洗转换规则和数据清洗模型参数；

清洗模块，用于对数据集中的所有脏数据在数据清洗模型中按照获得的数据清洗模型参数和清洗转换规则执行数据清洗；

替换模块，用于数据清洗完成后，将清洗干净的数据替换掉数据集中的脏数据；

所述水环境大数据交换单元包括如下模块：

第二建立模块，用于建立水环境监测数据收集交换的目录体系，包括预设水环境监测要素、预设各监测要素的动态管理目标，并确定各监测要素监测数据的交换顺序；

第一构建模块，用于构建水环境监测数据采集交换系统，所述水环境监测数据采集交换系统包括数据交换平台中心端、若干数据提供方和若干数据使用方，所述数据交换平台中心端、任一数据提供方和任一数据使用方均配置有一数据共享与交换服务器；所述水环境监测数据采集交换系统用于收集各数据提供方提供的水环境数据在数据交换平台中心端共享，并根据数据使用方或数据提供方的需求分发其目标水环境数据至其对应服务器，实现多数据提供方水环境数据在多数据使用方的交换与共享；

第三建立模块，用于建立水环境数据传输与评价电子系统，包括预设水环境数据采集规范、水环境数据传输流程、水环境数据交换流程、水环境数据审核标准和水环境数据评价标准，水环境数据传输与评价电子系统用于确保水环境数据的及时性、完整性和准确性传递；

第四建立模块，用于根据各数据使用方现有的网络基础，建立统一的水环境数据采集传输网络与安全保障体系；所述水环境数据采集传输网络与安全保障体系为预设水环境监测数据采集交换系统的安全权限，包括基于数字证书的安全连接认证、允许DES、3DES、RC4加密算法、预设应用程序认证机制，用于确保水环境数据的安全传输；

所述元数据管理单元包括如下模块：

元数据管理模块，用于根据多源异构水环境预设的元数据管理规范对元数据进行定义，对定义的元数据进行分类管理，包括授权用户对元模型包、元模型类、元模型属性、数据类型、数据关系的浏览、新增、修改、删除；

元数据维护模块，用于提供获取层元数据维护、存储层元数据维护、访问层元数据维护、交换层元数据维护以及元数据的检索、浏览和打印功能；

元数据批量加载模块，用于提供元数据批量加载功能，加载得到按照统一格式XLS文件的元数据和XML格式存储的元数据；

元数据自动获取模块，用于提供元数据自动加载的功能，自动加载符合XML标准的元数据，包括Power Designer、数据仓库、OLAP等接口元数据，以及从数据库自动加载元数据；

元数据分析及应用模块，用于采用元数据进行分析、对外部系统提供元数据应用服务；所述元数据分析的内容包括血统分析、影响分析、映射分析、拓扑图分析、表外键关系分析、ER图形展现、表重要程度分析、表无关程度分析和元数据差异分析；

元数据版本管理模块，用于记录元数据的变更历史，提供元数据版本查询、版本恢复功能；

元数据同步检查模块，用于指定期从元数据分析及应用模块中抽取元数据，并与元数据库的对应信息进行比较，查找元数据分析及应用模块的应用变更，进行元数据的同步更新。