[发明专利]一种一体化网络用户行为分析方法

摘要

本发明公开了一种一体化网络用户行为分析方法，采用高效数据捕获框架PF_RING，减少了拷贝次数和中断次数，能够节省拷贝过程中占用的系统内存，极大地增强系统的数据包捕获效能，提高内核处理数据包效率，实现高速数据包的捕获、过滤和分析，NetFlow在读取某个用户第一个数据包后便会对该包进行标记，初始化后加入NetFlow缓存列表，在随后不断有该用户新的数据包进入时，数据只在同一个数据流中传输，数据流的统计信息也是不断基于同一个用户数据包进行更新的，便于后期分析处理所述用户搜索行为分析采用了基于Mapreduce的编程模型，将任务分布式执行，大大提高了运算的速度，该分析方法可行性强、操作简单，适用于现代网络行为的研究。

主权项

一种一体化网络用户行为分析方法，其特征在于，包括如下步骤：（1）数据采集此时部署在接入网的数据采集设备对数据包进行捕获，一方面执行轻量级的在线分析，另一方面数据将被存储在分布式文件系统中供定期的离线分析；（2）流量分析高速的用户上网行为数据包存储在HDFS后，部署在HDFS集群节点中的NetFlow便开始读取离线读取数据包，并通过缓存对数据包进行还原至用户会话级别；（3）协议分析流量首先会根据用户进行区分，每个数据包都会有相应的用户与之对应，IPFIX插件对数据流进行协议分析；（4）内容分析①用户数据包的重组还原用户数据包的重组还原是内容分析的第一步，调用分布式存储系统的接口，我们能够获取采集到的一体化网络中用户数据包，然后，借助网络安全开发包工具Libnids的TCP重组功能，并结合HTTP协议的特点，我们能够完成对HTTP协议的解析，还原相应的会话信息②搜索行为分析③微博内容分析通过对应到微博内容的指定字段，然后采用对应的解码方式进行解码能够得到网络中用户微博的数据内容。