[发明专利]一种灵活可配置的流式信息处理方法及系统

权利要求书

1.一种灵活可配置的流式信息处理方法，其特征在于，包括以下步骤：

1) 将存储在服务器上的离线数据通过HTTP 请求批量发送至消息接收模块，离线数据转化为待处理的流式信息存储在消息接收模块中；

2）消息接收模块将HTTP 请求传输给路由选择模块，路由选择模块通过HTTP 请求对应的URI来确定路由配置；

3）路由选择模块将确定的路由配置传输消息处理模块，消息处理模块按照路由配置中的处理策略对待处理的流式信息进行转换处理，如转换成功，则发送后端服务，如转换不成功，则丢弃消息；

消息处理模块按照路由配置中的处理策略对待处理的流式信息进行转换处理，具体包括：

3.1）消息处理模块将路由配置的特定领域语言解释成可执行的处理策略；

3.2）根据步骤3.1）定义的消息处理规则对待处理的流式信息由OpenResty内置的LuaJIT模块执行消息处理计算；

3.3）将处理计算完成的消息序列化成配置中指定的格式，完成转换处理；

步骤3.1）中，特定领域语言采用JSON 文本和 Lua 脚本组合，具体包括：

以JSON为配置描述形式，将消息处理模块预定义的消息处理规则进行组合，消息处理规则包括：消息分割规则、反序列化规则、脚本执行器规则和消息输出规则，对于消息处理模块没有预定义的消息处理规则使用Lua 脚本。

2.根据权利要求1所述的灵活可配置的流式信息处理方法，其特征在于，还包括：

4）路由选择模块每隔1~50秒检查配置中心服务的路由配置并同步；

5）消息处理模块每隔1~50秒检查配置中心服务的处理策略并同步。

3.根据权利要求1所述的灵活可配置的流式信息处理方法，其特征在于，步骤2）中，通过HTTP 请求对应的URI来确定路由配置，具体包括：

根据最长前缀树匹配URI来确定路由配置。

4.根据权利要求2所述的灵活可配置的流式信息处理方法，其特征在于，步骤4）中，路由选择模块每隔 1~50 秒检查配置中心服务的路由配置并同步，具体包括：

4.1）路由选择模块在配置中心服务中查询配置文件存储的位置；

4.2）路由选择模块读取并解析每条路由配置；

4.3）多条路由配置以键值对的形式保存，而路由选择模块将路由配置构建成前缀树数据结构保存在内存中，每条路由配置的叶子结点指向唯一的消息处理策略的别名，每条路由配置带有哈希摘要；

4.4）将解析到的路由配置计算哈希摘要，与路由选择模块内存中路由配置的哈希摘要进行对比，如果不同，则表示内存中的路由配置已过期，可以将解析到的路由配置更新到内存中，接着重启对应的工作线程使新的路由配置生效。

5.根据权利要求2所述的灵活可配置的流式信息处理方法，其特征在于，步骤5）中，消息处理模块每隔1~50秒检查配置中心服务的处理策略并同步具体包括：

5.1）消息处理模块在配置中心服务中查询配置文件存储的位置；

5.2）根据路由选择模块构建的数状数据结构中记录的消息处理策略别名及其哈希摘要信息，标记为所需的处理策略；

5.3）消息处理模块查询并读取所需的处理策略，再将处理策略进行特定方式解析；

5.4）将解析到的处理策略计算哈希摘要，与消息处理模块内存中处理策略的哈希摘要进行对比，如果不同，则将解析到的处理策略更新到内存中，重启对应的工作线程使新配置的处理策略生效。

6.一种实现权利要求1~5任一项所述方法的灵活可配置的流式信息处理系统，其特征在于，包括：

消息接收模块，消息接收模块接收来自服务器上的离线数据；

配置中心服务，基于键值存储服务的动态配置存储下发服务；

路由选择模块，根据路由配置信息为接收到的待处理的流式信息选择不同的路由处理逻辑；

消息处理模块，从配置中心服务订阅路由配置信息，将待处理的流式信息转换处理。