[发明专利]一种灵活可配置的流式信息处理方法及系统

说明书

本发明公开了一种灵活可配置的流式信息处理方法及系统，包括以下步骤：将存储在服务器上的离线数据通过HTTP请求批量发送至消息接收模块，离线数据转化为待处理的流式信息存储在消息接收模块中；消息接收模块将HTTP请求传输给路由选择模块，路由选择模块通过HTTP请求对应的URI来确定路由配置；路由选择模块将确定的路由配置传输消息处理模块，消息处理模块按照路由配置中的处理策略对待处理的流式信息进行转换处理，如转换成功，则发送后端服务，如转换不成功，则丢弃消息。本发明能够灵活动态加载配置，执行定制的处理逻辑，避免停服更新，减少操作人员负担。

技术领域

本发明涉及流式信息处理方法领域，具体涉及一种灵活可配置的流式信息处理方法及系统。

背景技术

作为 CDN 服务提供商，有海量的日志定制、分析、处理的需求。为日志实时性要求高的客户，通过开启实时上报的方式采集特定客户的日志。现有的 CDN 边缘访问日志实时上报到网关服务，再通过网关路由功能将数据分流到不同的后端处理服务，针对不同的格式的请求内容，需要开发不同的服务端以实现特定的处理逻辑。

现有处理方案处理链路长，有如下不足：

（1）不能灵活定制；

（2）机器成本和开发成本较高；

（3）过多的后端服务增加了运维人员的工作负担。

发明内容

本发明的第一个目的是提供一种灵活可配置的流式信息处理方法及系统，能够灵活动态加载配置，执行定制的处理逻辑，避免停服更新，减少操作人员负担。

一种灵活可配置的流式信息处理方法，包括以下步骤：

1）将存储在服务器上的离线数据通过HTTP 请求批量发送至消息接收模块，此步骤的作用是将离线数据转化为待处理的流式信息存储在消息接收模块中，方便后续模块进行处理；

2）消息接收模块将HTTP 请求传输给路由选择模块，路由选择模块通过HTTP 请求对应的URI来确定路由配置，此步骤的作用是将特定的请求URI与特定消息处理策略建立一对一映射关系；

3）路由选择模块将确定的路由配置传输消息处理模块，消息处理模块按照路由配置中的处理策略对待处理的流式信息进行转换处理，如转换成功，则发送至后端服务，如转换不成功，则丢弃消息；

4）路由选择模块每隔1~50秒检查配置中心服务的路由配置并同步；

5）消息处理模块每隔1~50秒检查配置中心服务的处理策略并同步。

步骤2）中，通过HTTP 请求对应的URI来确定路由配置，具体包括：

根据最长前缀树匹配URI来确定路由配置。

步骤3）中，消息处理模块按照路由配置中的处理策略对待处理的流式信息进行转换处理，具体包括：

3.1）消息处理模块将路由配置的特定领域语言(Domain-specific language)解释成可执行的处理策略；

特定领域语言由JSON 文本和 Lua 脚本组合而成，以描述消息处理流程；其中JSON 文本格式是使用最广泛的通用配置文本描述形式之一，采用这种格式描述处理过程易于理解能够降低开发人员的上手难度；其中 Lua 为轻量级编程语言，开发人员也可以快速上手并编写消息处理逻辑；两者进行结合让定制开发工作更灵活便捷，在应对多变的需求时更敏捷；

采用JSON 文本和 Lua 脚本组合，具体包括：

以JSON为配置描述形式，将消息处理模块预定义的消息处理规则进行组合，消息处理规则包括：消息分割规则、反序列化规则、脚本执行器规则和消息输出规则，对于消息处理模块没有预定义的消息处理规则使用Lua 脚本编程实现；