[发明专利]基于大数据的网站用户行为数据采集方法、系统及应用

摘要

一种基于大数据的网站用户行为数据采集方法、系统及应用，包括网站插码的步骤，收集用户行为数据的步骤，将用户行为数据包转化成用户行为日志文件的步骤，将用户行为日志文件发送至数据收集云存储的步骤，将不断增加的用户行为日志文件中的数据实时传输给大数据存储的步骤，大数据存储的步骤，采用分布式集群部署，用户行为数据采集与网站应用本身分离，有效降低了用户行为数据采集对网站应用性能的影响。脱离了数据库存储网站用户行为采集数据的方式，分离了用户行为数据对数据库服务器的依赖关系，有效解决海量级数据的查询、分析和统计的问题。

主权项

一种基于大数据的网站用户行为数据采集方法，其特征在于包括以下步骤：（1）网站插码的步骤，由网站开发人员在网站页面上进行插码，插入用户行为数据采集脚本文件和脚本代码；（2）收集用户行为数据的步骤，当用户访问网站页面时，用户行为数据采集脚本文件和脚本代码收集用户行为数据，并将数据重组成指定规格的用户行为数据包，通过HTTP协议向用户行为采集服务器发送；（3）将用户行为数据包转化成用户行为日志文件的步骤，用户行为采集服务器接收网页端发出的用户行为数据包，并利用OpenResty组件将数据包转化成用户行为日志文件；（4）将用户行为日志文件发送至数据收集云存储的步骤，在用户行为采集服务器上部署Linux Shell脚本，定时将用户行为日志文件发送至统一的数据收集云存储上；（5）将不断增加的用户行为日志文件中的数据实时传输给大数据存储的步骤，采用监控数据工具监控数据收集云存储（NAS）上不断增加的用户行为日志文件，并实时的将日志文件中的数据传输给大数据存储；（6）大数据存储的步骤，使用HDFS作为大数据存储，将所有的用户行为数据存储于HDFS之中。