[发明专利]海洋综合数据库的海洋水体环境数据整合方法

权利要求书

1.海洋综合数据库的海洋水体环境数据整合方法，其特征在于，包括如下步骤：

S1，加载海洋水体环境数据文件进行排序，并对排序后的数据文件进行智能排重；

S2，对排重后的数据文件进行质量范围的验证，并保存验证结果；

S3，解析验证后的数据文件得到数据，存入数据库；

所述步骤S2包括以下步骤：

S21，对智能排重后的每一个数据文件，按数据特性匹配对应的检测方法进行数据的质量检测；

S22，按照质量检测结果对数据进行质量标记；

S21，包括如下步骤：

步骤51，获取需要处理的基础库数据表；

步骤52，获取日志表中最后的数据抽取截止时间和当前系统时间；

步骤53，从质量符配置表中获取当前数据表需要处理的要素字段名和对应质量符字段名；

步骤54，更新日志表状态：开始计算此表的质量符；

步骤55，判断是否存在需要处理的要素字段，若是，则跳转到S56，若否则跳转到步骤63；

步骤56，从要素规范表中获取需要处理的要素字段的有效值范围；步骤57，生成判定更新质量符字段SQL语句；

步骤58，生成汇总统计临时表SQL语句：汇总所有增量数据对应的统计逻辑主键下的统计结果，并插入临时表；

步骤59，生成删除质量符统计中间表SQL语句：依据统计逻辑主键删除中间表中所有在临时表中存在的逻辑主要记录；

步骤60，生成插入质量符统计中间表SQL语句：依据统计逻辑主键汇总临时表中的数据，并插入统计中间表；

步骤61，生成删除临时表SQL语句；

步骤62，按顺序执行生成的SQL语句；

步骤63，更新日志表状态：执行结束。

2.根据权利要求1所述的方法，其特征在于：步骤S1中具体包括：S11，加载已解析的海洋水体环境数据文件，形成标准格式文件；

S12，对标准格式文件中的数据，依据不同的维度进行排序，排序结果作为智能排重依据；

S13，对排序后的数据文件，根据数据特性的不同采用不同的聚类算法对数据进行分类，对分类数据进行标记，进行智能排重。

3.根据权利要求1所述的方法，其特征在于：在步骤S3中，将步骤2验证后的数据文件，根据解析配置文件进行格式转换后存入数据库。