[发明专利]一种组件式的数据处理方法和系统

说明书

本发明涉及一种组件式的数据处理方法和系统。其主要是将数据处理的过程抽象成源组件、处理组件、目标组件三种，通过Web技术，让用户能够以这些组件来定义一个数据处理管道，数据处理管道的开始是一个源组件、中间有若干个处理组件、最后有一个目标组件，数据处理管道定义完成后，按照数据处理管道的定义开始数据处理的工作，先按照源组件中的定义，到指定的位置获取数据，然后到处理组件，通过不同的处理组件将数据进行一系列的解析、转换，经过处理后的数据最后到目标组件定义的位置。借此，极大的简化了数据处理流程的开发，也能在数据处理流程变化时，不需要修改程序就能动态的修改数据处理流程。

技术领域

本发明属于大数据处理和分析领域，具体涉及一种可视化组件式的数据处理方法和系统，主要用于大数据环境下以可视化方式动态配置数据管道来处理数据。

背景技术

在大数据的数据处理环节，有对结构化、半结构化的数据进行处理转换的需求，需要对它们进行一些转换处理变成另外一种结构化的数据，比如从原始数据中提取关键字、转换数据类型、替换文本、删除文本、增加文本、根据指定的PATH从嵌套关系的数据中提取值、日期格式的转换、对原始数据中的内容进行编码转换、脱敏、字符串拼接等多种需求。

传统的方式是要有专门的数据处理人员通过编写程序的方式来处理数据，这种方式存在的问题是数据处理过程不能适应动态变化，不能直观的了解数据经过了哪些环节的处理。

同时，由于系统工作会因为业务的变化而变化，例如增加了新的数据处理需求和数据的结构发生了变化等等情况，一旦数据结构发生变化时，原来的数据处理系统将无法正常工作，需要停机并按照数据结构的变化来重新调整程序，必须经过开发、测试、上线等一系列过程，调整完成后才能继续运行，严重影响了业务的正常运行。

另外，现有技术中，如果要将一个半结构化的文本变成一条结构化的数据，也同样需要经过一个写程序、调试、测试、上线的过程，需要比较高的成本。以Nginx访问日志解析为例，以现有编码的方式，大概需要进行开发设计、编码实现、测试等过程，至少需要1个研发人员5/人天的时间。

综上所述，目前亟需一种可以让过程能直观可视化、可复用、可适应动态变化的数据处理技术。

发明内容

为了解决现有技术的上述问题，一方面，本发明提供一种组件式的数据处理方法，其通过可视化方式动态配置数据管道，可以让数据处理过程能直观可视化、可复用、可适应动态变化。

为了达到上述目的，本发明采用的主要技术方案包括：

一种可视化组件式的数据处理方法，其主要是将数据处理的过程抽象成源组件、处理组件、目标组件三种，通过Web技术，让用户能够以这些组件来定义一个数据处理管道，数据处理管道的开始是一个源组件、中间有若干个处理组件、最后有一个目标组件，数据处理管道定义完成后，按照数据处理管道的定义开始数据处理的工作，先按照源组件中的定义，到指定的位置获取数据，然后到处理组件，通过不同的处理组件将数据进行一系列的解析、转换，经过处理后的数据最后到目标组件定义的位置。

借助上述方案，本发明的可视化组件式的数据处理方法，其极大的简化了数据处理流程的开发，也能在数据处理流程变化时，不需要修改程序就能动态的修改数据处理流程。

本发明一个实施例的可视化组件式的数据处理方法，其中的处理组件包括：grok拆分、Json转换、xml解析、csv解析、字符串拼接、日期解析。

本发明一个实施例的可视化组件式的数据处理方法，其中，处理组件可以在一个数据处理管道或多个数据处理管道中重复使用。

本发明一个实施例的可视化组件式的数据处理方法，其中，定义的数据处理管道可以导出。

本发明一个实施例的可视化组件式的数据处理方法，其中，定义的数据处理管道可以导入。