[发明专利]一种基于配置数据加工模型的加工中心数据流式处理方法

摘要

本发明公开了一种基于配置数据加工模型的加工中心数据流式处理方法。本方法为：1)对待加工数据源创建一数据加工模型：包括加工前数据的字段及类型、加工后数据的字段名称及类型，以及加工前、后数据字段之间的对应关系；2)设置一数据加工语法规则，包括设置每一数据源要提取的加工字段信息；每一要加工字段的字段名称和相应的字段类型，以及处理该加工字段的数据加工处理模块和处理时所用的匹配规则；每一个加工字段加工后的名称和数据类型；3)根据数据加工任务和该数据加工语法规则，生成一工单配置文件；4)根据该工单配置文件创建一工厂实例，按照加工工单内容顺序组织和执行实例内容。本发明提高了大数据处理速度和灵活性别。

主权项

1.一种基于配置数据加工模型的加工中心数据流式处理方法，其步骤为：1)对待加工数据源创建一数据加工模型：包括加工前数据的字段及类型、加工后数据的字段名称及类型，以及加工前数据字段与加工后数据字段之间的对应关系；2)根据该数据加工模型设置一数据加工语法规则，包括设置每一数据源要提取的加工字段信息；每一要加工字段的字段名称和相应的字段类型，以及处理该加工字段的数据加工处理模块和处理时所用的匹配规则；每一个加工字段加工后的名称和数据类型；3)根据数据加工任务和该数据加工语法规则，生成一工单配置文件；其中，加工任务的信息包括：处理步骤信息、时间调度器信息和工单修复信息；4)加工系统根据该工单配置文件创建一工厂实例，然后该工厂实例根据该数据加工语法规则验证该配置文件是否合法，验证通过后该工厂实例将该配置文件内容写入到加工工单中，生成一加工工单文件，然后根据该加工工单文件中处理步骤的个数、名称和顺序创建一配置信息组配实例；5)该工厂实例创建一个流水化作业实例，用于按照加工工单内容顺序组织和执行该配置信息组配实例中的实例内容；其中，所述处理步骤信息包括数据源配置信息、处理器集合信息、目标存储信息；其中，数据源配置信息包括：数据源地址、数据库名称、用户名、密码、查询语句、读取引擎类型、读取极限、读取偏差信息；目标存储信息包括id生成器信息、数据存储地址信息、写入引擎类型信息；处理器集合信息包括预处理信息、预处理引擎、后处理引擎、处理器集合中所有的处理器名称及每一处理器的执行顺序；每一处理器需要配置的信息包括：1)加工前数据需要处理的字段名称及类型；2)每一需要处理字段的数据加工处理模块、判定该字段名称下是否所有资源都要处理的条件，以及该字段的内容是否需要拆分及拆分的相应标志、字段的内容是否需要融合及融合的标志或者规则；3)加工后数据的字段名称和类型、加工前数据字段与加工后数据字段之间的对应关系。