[发明专利]一种数据采集与治理工具业务化的方法

说明书

本发明特别涉及一种数据采集与治理工具业务化的方法。该数据采集与治理工具业务化的方法，将数据采集流程拆分为若干个数据采集组件，将各个数据治理流程拆分为若干个数据治理任务，将各个数据治理任务进一步拆分为若干个数据治理组件，并根据用户需求进行个性化流程编排；各个数据治理组件执行对应的操作，产生的处理数据之间的数据流转产生最终的成果数据，结合业务信息即可为上层分析和决策提供最直观和有利的辅助。该数据采集与治理工具业务化的方法，以业务为中心，将业务流程的实施和操作具体化到各个组件的运行或一套组件的协作运行中来，简化了数据采集和治理流程，降低了业务和操作人员实施难度，更加适应当前采集和治理场景。

技术领域

本发明涉及Java Web应用开发技术领域，特别涉及一种数据采集与治理工具业务化的方法。

背景技术

新一代信息技术与生产、生活领域相互渗透、深度融合，深刻地改变了人们的生产生活方式和社会组织模式。为了信息社会发展和治理，迫切的需要一种新的数据治的模式和工具来推动时代和社会发展的需求。要求打破过去部门间的数据烟囱、信息孤岛，促进各个部门间的整合与协作。同时，数字建设不仅要以数据为基础，更需要各类数据之间的融合，真正形成“大数据”。这极大地促进了社会和市场之间关系的整合能力。

数据采集和治理工具，应用场景复杂，涉及技术的广泛，在现在的采集和治理工具中，对业务人员的技术水平有了更高的要求，对现有工具进行场景的划分和对工具的业务化成为了采集和治理的关键问题。

传统的数据采集和治理需要以对数据库的直接操作、正则表达式、文件导入、人工比对等方式对数据进行采集和治理，依赖于业务人员的操作。业务流程较长，设计复杂。

为了降低业务和操作人员实施难度，本发明提出了一种数据采集与治理工具业务化的方法。

发明内容

本发明为了弥补现有技术的缺陷，提供了一种简单高效的数据采集与治理工具业务化的方法。

本发明是通过如下技术方案实现的：

一种数据采集与治理工具业务化的方法，其特征在于：包括以下步骤：

第一步，将数据采集流程拆分为若干个数据采集组件，并根据用户需求进行个性化流程编排；

第二步，将各个数据治理流程拆分为若干个数据治理任务，将各个数据治理任务进一步拆分为若干个数据治理组件，并根据用户需求进行个性化流程编排；

第三步，各个数据治理组件执行对应的操作，产生的处理数据之间的数据流转产生最终的成果数据，结合业务信息即可为上层分析和决策提供最直观和有利的辅助。

所述第一步中，数据采集组件分为常规组件和高级组件，明确数据采集需求后，选择需要的数据采集组件进行流程设计。

所述常规组件包括但不限于表抽取组件、正常表写入组件、问题表写入组件、表删除组件、表回写组件、EXCEL文件输入组件、TXT文件输入组件、CSV文件输入组件、EXCEL 文件输出组件、TXT文件输出组件和CSV文件输出组件；

所述高级组件包括但不限于JSON文件输入组件、JSON文件输出组件、Xml文件输出组件、MQ输入组件、HTTP输入组件和WEBSERVICER采集组件。

所述第一步中，当有采集任务需求时，根据需求选择对应的数据采集组件，并以拖拉拽的方式组合选中的数据采集组件，实现对采集过程的流程编排。

所述第二步中，数据治理组件包括但不限于数据拆分组件、字符替换组件、空格处理组件、符号处理组件、全角转半角组件、字典转换组件、字段新增组件、字段补齐组件、字段补正组件和关联抽取组件。

所述第二步中，明确数据治理需求后，按照业务流程对需要的数据治理组件进行流程设计，并以拖拉拽的方式组合选中的数据治理组件，实现对数据治理过程的流程编排。