[发明专利]一种基于规则的用户行为日志采集、分析的方法和系统

权利要求书

1.一种基于规则的用户行为日志采集、分析的方法，其特征在于，所述方法包括以下步骤：

1)在业务应用服务程序启动时加载预设的日志采集规则，通过字节码手段实现无侵入的埋点，对用户行为产生的日志进行分类匹配，再对埋点的上下文信息和应用环境参数筛选收集，最后通过高性能的双队列缓存日志数据，再由应用程序与日志预处理中心的连接池完成发送；

2)将步骤1)所采集到的用户行为日志统一汇总到日志预处理中心进行预处理，过滤，推送到消息通道中；具体为：定义路由规则，根据用户行为的分类配置对应的分析器以及分析器对应的检查程式；预处理中对接收的日志数据匹配其路由规则，获取对应的目标分析器，运行检查程式，过滤无效日志；最后将通过校验的日志推送给消息通道；

3)消息通道负责业务分析器的注册和日志数据的汇集分发，将不同种类的日志数据分发给对应分析器，由分析器根据业务需求，对日志进行处理，产生业务数据并存储。

2.一种实现权利要求1所述方法的系统，其特征在于，所述系统包括：日志采集模块、日志预处理中心、日志分析模块；日志采集模块负责基于预设的采集规则，初始化埋点，施行用户行为的匹配、参数收集、日志发送至日志预处理中心；日志预处理中心根据路由规则，进行日志的预处理，过滤，推送到消息通道中；日志分析模块通过消息通道交给在分析中心注册的分析器对日志进行处理，生成业务数据。

3.根据权利要求2所述的系统，其特征在于，所述参数收集，包括用户行为的特征参数、日志的采集方式、运行环境的参数筛选收集方式；其中，所述用户行为的特征参数包括HTTP请求路径、请求类型和请求参数。

4.根据权利要求2所述的系统，其特征在于，所述采集规则，通过应用程序匹配的采集插件进行采集规则的解析、装载、执行。

5.根据权利要求2所述的系统，其特征在于，所述初始化埋点的方式，是无侵入式的，通过字节码手段在应用程序需要埋点的地方进行嵌入式编程；所述日志发送，是通过高性能的双队列缓存日志数据，再由应用程序与日志预处理中心的连接池完成发送。

6.根据权利要求5所述的系统，其特征在于，所述的双队列缓存，是在第一个队列中进行首次发送尝试，如果发送失败，则进入另外一个队列进行重发，两次发送均失败，就会对日志数据进行标记，不再发送；所述的连接池，初始化时会创建固定数量的TCP/IP协议的连接，负责从双队列中获取日志数据进行发送；在连接池出现故障时，自动进行本地硬盘备份，在连接池恢复时会从备份加载数据，重新进行日志发送。

7.根据权利要求2所述的系统，其特征在于，所述日志预处理中心根据路由规则，进行日志的预处理，过滤，推送到消息通道中，包括：定义路由规则，根据用户行为的分类配置对应的分析器以及分析器对应的检查程式；预处理中对接收的日志数据匹配其路由规则，获取对应的目标分析器，运行检查程式，过滤无效日志；最后将通过校验的日志推送给消息通道。

8.根据权利要求2所述的系统，其特征在于，所述采集规则与所述路由规则的动态更新为应用程序通过TCP/IP协议与规则配置中心建立连接，并维持心跳，通过心跳检测实时同步。

9.根据权利要求2所述的系统，其特征在于，所述日志分析模块是分布式结构，由不同独立运行的业务分析模块组成，每个业务分析模块是一个应用程序集群，由相同业务逻辑的分析器组合成一个专门的负载集群，所述相同业务逻辑的分析器之间维持心跳，并推选leader。

10.根据权利要求9所述的系统，其特征在于，所述日志分析模块构建在一个消息通道上，由所述消息通道负责业务分析器的注册和日志数据的汇集分发；所述不同独立运行的业务分析模块各自包含一个消息监听器，负责将消息通道中的日志数据转发给分析器集群中的leader，再由leader根据集群的负载情况分发日志数据；分析器先对接收的日志数据进行完整性校验，再执行其分析逻辑，生成业务数据，最后不同业务需求，以不同方式存储分析结果。