[发明专利]一种基于JBPM调度系统的气象政务数据抽取方法在审
| 申请号： | 201910785539.5 | 申请日： | 2019-08-23 |
| 公开（公告）号： | CN110471978A | 公开（公告）日： | 2019-11-19 |
| 发明（设计）人： | 王甫棣;赵芳;赵希鹏;王帅;古亚文;汪芳;陈纯子 | 申请（专利权）人： | 国家气象信息中心 |
| 主分类号： | G06F16/25 | 分类号： | G06F16/25;G06F16/215 |
| 代理公司： | 51218 成都金英专利代理事务所(普通合伙) | 代理人： | 袁英<国际申请>=<国际公布>=<进入国 |
| 地址： | 100081 北京市海淀*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 调度系统 数据清洗 工作流程 转换规则 数据库 增量数据抽取 干净数据 关键问题 气象数据 数据抽取 数据分析 数据整合 数据源 气象 异构 清洗 载入 验证 转换 环节 | ||
1.一种基于JBPM调度系统的气象政务数据抽取方法 ，其特征在于，包括如下步骤：
S1：将数据源导入JBPM调度系统，进行数据分析；
S2：设计JBPM调度系统中的数据清洗转换规则与工作流程；
S3：对JBPM调度系统的数据清洗转换规则与工作流程进行验证；
S4：利用JBPM调度系统清洗数据中存在的错误；
S5：将JBPM调度系统中的干净数据回流到数据库。
2.根据权利要求1所述的一种基于JBPM调度系统的气象政务数据抽取方法 ，其特征在于，所述将数据源导入JBPM调度系统，进行数据分析，包括：通过JBPM调度系统中的数据分析来检测数据中的脏数据或不一致数据，通过JBPM调度系统中的分析程序获得确定的数据属性和不寻常模式的元数据。
3.根据权利要求1所述的一种基于JBPM调度系统的气象政务数据抽取方法 ，其特征在于，数据清洗转换规则与工作流程根据JBPM调度系统中的数据分析结果来设计。
4.根据权利要求1所述的一种基于JBPM调度系统的气象政务数据抽取方法 ，其特征在于，所述S3包括如下步骤，包括：
S31：根据数据源上的数据样本在JBPM调度系统中进行清洗；
S32：若不满足JBPM调度系统的清洗转换规则与工作流程，则重新定义数据清洗转换规则与工作流程，返回到步骤S1；
S33：若满足JBPM调度系统的清洗转换规则与工作流程，则清理数据源中存在的脏数据和不一致数据。
5.根据权利要求1所述的一种基于JBPM调度系统的气象政务数据抽取方法 ，其特征在于，所述步骤S4包括多次数据清洗步骤，其中，BPM调度系统中的数据清洗次数通过数据源中脏数据和不一致数据个数决定。
6.根据权利要求1所述的一种基于JBPM调度系统的气象政务数据抽取方法，其特征在于，所述步骤S5用于替换数据源中的脏数据和不一致数据，避免再次抽取数据后进行重复的数据清洗。
7.一种基于JBPM调度系统的气象政务数据抽取系统，其特征在于，包括：
数据输入模块：用于导入数据源；
数据抽取模块：用于抽取脏数据或不一致数据；
数据清洗模块：通过数据清洗转换规则与工作流程对脏数据或不一致数据进行清洗；
数据输出模块：用于将清洗后的干净数据导入目标数据库；
目标数据库：用于存储清洗后的干净数据。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国家气象信息中心，未经国家气象信息中心许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910785539.5/1.html，转载请声明来源钻瓜专利网。
