[发明专利]一种基于HTTP旁路流量的机器行为分析方法

说明书

本发明公开了一种基于HTTP旁路流量的机器行为分析方法，该方法包括：通过对网络端口的监听进行旁路流量，对旁路流量进行正则过滤；然后按照用户和渠道进行分流，区分不同用户不同渠道的流量，解析成探头数据推送到Kafka中间件；规则引擎读取Kafka中探头数据并进行实时指标运算，然后根据规则判断是否为网络机器行为。本发明的HTTP旁路流量的机器行为分析，能够不侵入业务系统的同时，进行实时的、准确地识别网络机器访问行为。可以降低对业务系统的侵入，简单易部署，易扩展。并且可以实现用户自己灵活的定义统计指标、动态的调整规则，动态加载，实时生效。本发明结合多要素判断，机器行为分析的识别率在90％以上。

技术领域

本发明涉及网络技术领域，尤其涉及一种基于HTTP旁路流量的机器行为分析方法。

背景技术

随着计算机与网络技术的发展，网络自动化的机器行为(如搜索引擎)给人们工作效率带来很大的提高、生活带来了很多便利。但伴随而来的也有一部分恶意的机器行为给服务资源、信息安全等带来了挑战。例如恶意流量虚耗服务资源，撞库和爬虫行为导致账户批量泄露，抢号抢票抢拍行为践踏社会公平，批量商业信息抓取损害企业利益。

当前网络自动化的机器行为分析主要方式为通过业务的流量日志。首先，这种方式复杂性高，随着业务系统建设的复杂性、高可用集群部署等，都使复杂程度线性增加；其次，侵入性高，基于日志分析需要对业务系统埋点；其次，准确率低，业务系统记录的日志会丢弃HTTP协议中的大多数信息。

因此基于HTTP旁路流量的机器行为分析逐渐成为研究的热点。

发明内容

本发明的目的在于针对现有分析方法的不足，提供一种基于HTTP旁路流量的机器行为分析方法。

本发明的目的是通过以下技术方案来实现的：本发明提供一种基于HTTP旁路流量的机器行为分析方法，包括：

S1对网络端口的监听进行旁路流量，并对旁路流量进行正则过滤；

S2按照用户和渠道进行分流，区分不同用户不同渠道的流量，解析成探头数据推送到Kafka中间件；

S3规则引擎读取Kafka中探头数据并进行实时指标运算，然后结合规则判断是否为网络机器行为。

进一步地，步骤S1中旁路流量指通过libpcap对指定网络端口进行抓包，并通过BPF(BSD Packet Filter)指定IP地址和端口。

进一步地，所述的步骤S2区分出不同的用户并区分iOS、ANDROID、WEB等渠道。

进一步地，所述探头数据为对HTTP的旁路流量进行解析封装成可供规则引擎识别的一种数据对象。

进一步地，所述探头数据包括但不限于用户、渠道、请求的Method、资源URI、Use-Agent、IP、Cookie等属性。

进一步地，所述规则引擎为执行预定义或动态定义语义的业务决策组件，用于接受数据，匹配规则，并根据规则作出决策。

进一步地，所述规则引擎中的规则为用户自定义的规则，可根据用户需求进行设定。

进一步地，所述正则过滤为对于旁路到的HTTPS、TPS等其它协议的流量直接丢弃，并将旁路到的流量区分出动态或静态流量。

进一步地，所述规则引擎包括指标计算容器，用于存放用户自定义的指标，并进行实时指标计算。

本发明的有益效果：

(1)本发明可以降低对业务系统的侵入，简单易部署，易扩展。

(2)本发明可以实现用户自己灵活的定义统计指标、动态的调整规则，动态加载，实时生效。