[发明专利]一种基于分布式计算的网络用户行为数据实时处理方法

摘要

本发明涉及一种基于分布式计算的网络用户行为数据实时处理方法，包括依次执行的启动过程和实时计算过程，其中，所述启动过程具体为：从网络用户行为数据库中提取数据进行分布式批处理计算获取统计结果初始值，保存到统计结果缓存区和结果数据库；所述实时计算过程具体为：数据源端继续接收用户访问交互行为数据生成的事件数据流，并保存至网络用户行为数掘库，将当前数据源端所有的事件数据流分发到分布式的多个节点，基于统计结果初始值进行增量计算并规约，最终结果保存至统计结果缓存区。与现有技术相比，本发明具行支持分布式多节点并行计算、可以根据需求设计事件流的增量计算算法、与网络平台其他功能耦合度低、能较好保证实时计算等优点。

主权项

一种基于分布式计算的网络用户行为数据实时处理方法，其特征在于，包括依次执行的启动过程和实时计算过程，其中，所述启动过程具体为：从网络用户行为数据库中提取数据进行分布式批处理计算获取统计结果初始值，保存到统计结果缓存区和结果数据库；在启动过程中，数据源端实时侦听用户访问交互行为数据，生成相应的事件数据流并保存，同时将事件数据流保存至网络用户行为数据库；所述网络用户行为数据库中保存有所有时候用户访问交互行为所产生的事件数据流；所述实时计算过程具体为：数据源端继续接收用户访问交互行为数据生成的事件数据流，并保存至网络用户行为数据库，将当前数据源端所有的事件数据流分发到分布式的多个节点，基于统计结果初始值进行增量计算并规约，最终结果保存至统计结果缓存区；所述实时计算过程按设定间隔循环执行。