[发明专利]一种组件式的数据处理方法和系统

权利要求书

1.一种组件式的数据处理方法，其主要是将数据处理的过程抽象成源组件、处理组件、目标组件三种，通过Web技术，让用户能够以这些组件来定义一个数据处理管道，数据处理管道的开始是一个源组件、中间有若干个处理组件、最后有一个目标组件，数据处理管道定义完成后，按照数据处理管道的定义开始数据处理的工作，先按照源组件中的定义，到指定的位置获取数据，然后到处理组件，通过不同的处理组件将数据进行一系列的解析、转换，经过处理后的数据最后到目标组件定义的位置。

2.如权利要求1所述的组件式的数据处理方法，其特征在于，处理组件包括：grok拆分、Json转换、xml解析、csv解析、字符串拼接、日期解析、KV提取、字典转换、字段类型转换、定长字段提取、正则替换、增加列表字段、重命名字段、字段分割、添加字段、删除字段、转大写、转小写、去除空白、丢弃字段。

3.如权利要求1所述的组件式的数据处理方法，其特征在于，处理组件可以在一个数据处理管道或多个数据处理管道中重复使用。

4.如权利要求1所述的组件式的数据处理方法，其特征在于，定义的数据处理管道可以导出/导入。

5.如权利要求1所述的组件式的数据处理方法，其特征在于：数据处理管道能够通过以可视化的方式拖拽这些处理组件来定义。

6.一种组件式的数据处理系统，其特征在于，其包括：

数据处理管道定义模块，用于生成数据处理管道；

源组件，用于数据处理管道的开始；

目标组件，用于数据处理管道的结尾；

数据处理组件，供数据处理管道定义模块组装于源组件和目标组件之间，用于定义数据处理管道，为数据处理管道定义出相应的数据处理方式。

7.如权利要求6所述的组件式的数据处理系统，其特征在于，数据处理组件为可视化可拖拽的。

8.如权利要求6所述的组件式的数据处理系统，其特征在于，数据处理组件包括：grok拆分组件、Json转换组件、xml解析组件、csv解析组件、字符串拼接组件、日期解析组件、KV提取组件、字典转换组件、字段类型转换组件、定长字段提取组件、正则替换组件、增加列表字段组件、重命名字段组件、字段分割组件、添加字段组件、删除字段组件、转大写组件、转小写组件、去除空白组件、丢弃字段组件。

9.如权利要求6所述的组件式的数据处理系统，其特征在于，数据处理组件可以在一个数据处理管道或多个数据处理管道中重复使用。

10.如权利要求6所述的组件式的数据处理系统，其特征在于，还包括下列模块中的任一或任几项：

数据处理组件调试模块，用于调试数据处理组件；

数据处理组件生成模块，用于生成数据处理组件；

数据处理组件存储模块，用于存储数据处理组件；

数据处理管道导出模块，用于导出数据处理管道；

数据处理管道导入模块，用于导入数据处理管道。