[发明专利]基于流计算引擎的实时标签处理方法和装置

权利要求书

1.一种基于流计算引擎的实时标签处理方法，其特征在于：所述方法包括:

步骤1、根据标签处理任务的需求设定标签处理任务类型；

步骤2、根据所设定的标签处理任务类型，配置数据源信息、标签处理信息和数据输出信息；

步骤3、根据所配置的数据源信息、标签处理信息和数据输出信息，生成标签处理任务配置元数据；

步骤4、根据所述标签处理任务配置元数据，创建并执行所述标签处理任务。

2.根据权利要求1所述的基于流计算引擎的实时标签处理方法，其特征在于：

所述步骤1中，所述标签处理类型包括键-值对提取、正则匹配和字段映射。

3.根据权利要求1所述的基于流计算引擎的实时标签处理方法，其特征在于：

所述步骤2中，配置数据源信息包括以下步骤：

步骤2.1.1、编辑数据源信息，并发送数据源添加请求；

步骤2.1.2、根据所述数据源添加请求判断对应的数据源信息是否为新添加的数据源信息，若是，则执行步骤2.3，否则执行步骤2.4；

步骤2.1.3、添加所述数据源信息；

步骤2.1.4、判断所述数据源信息是否需要更新，若需要，更新对应的数据源信息，否则，结束数据源信息添加流程。

4.根据权利要求1所述的基于流计算引擎的实时标签处理方法，其特征在于：

所述数据源信息包括：数据源存储类型、数据源位置或路径以及数据源访问账户信息和数据源描述信息中的一种或多种；

其中，所述数据源存储类型包括本地文件、分布式数据仓库H IVE、消息队列、网络文件传输FTP；

所述数据源描述信息包括数据源名称、数据字段名称、数据字段类型、数据文件分隔符，所述数据源名称包括文件名、数据表名、消息类型或队列名称。

5.根据权利要求1所述的基于流计算引擎的实时标签处理方法，其特征在于：

所述标签处理信息包括待处理数据源字段、结果标签字段名称、结果标签字段类型和标签处理规则列表中的一种或多种，其中，所述标签处理规则列表对应一个以上标签处理操作，所述标签处理规则列表通过对应每个标签处理操作，进行标签处理规则注册所得。

6.根据权利要求5所述的基于流计算引擎的实时标签处理方法，其特征在于：

所述标签处理规则注册述包括以下步骤：

步骤2.2.1、编辑标签处理规则描述数据，并发送标签处理规则注册请求；

所述标签处理规则描述数据包括标签处理输入参数、标签处理输出参数和规则程序信息；

步骤2.2.2、根据所述标签处理规则注册请求判断对应的标签处理规则是否为新注册的标签处理规则，若是，则执行步骤2.2.3，否则执行步骤2.2.4；

步骤2.2.3、注册所述所述标签处理规则；

步骤2.2.5、判断所述所述标签处理规则是否需要更新，若需要更新，则更新对应的标签处理规则，否则，结束标签处理规则注册流程。

7.根据权利要求1所述的基于流计算引擎的实时标签处理方法，其特征在于：

所述数据输出信息包括结果数据存储类型、结果数据存储位置或路径、结果数据名称和结果数据存储系统的访问账户信息中的一种或多种；

其中，所述结果数据存储类型包括本地文件、分布式数据仓库H IVE、消息队列、网络文件传输FTP；

所述结果数据名称包括文件名、数据表名、消息类型或队列名称。

8.根据权利要求1所述的基于流计算引擎的实时标签处理方法，其特征在于：

所述步骤3包括：组合所配置的数据源信息、标签处理信息和数据输出信息，生成标签处理任务配置元数据。