[发明专利]基于用户访问行为分析的爬虫识别方法及系统

说明书

本发明公开了一种基于用户访问行为分析的爬虫识别方法及系统，属于数据安全领域，本发明要解决的技术问题为如何提前发现可能被网络爬虫利用的账户，降低数据被窃取的风险，提高数据安全性，采用的技术方案为：该方法是通过对用户访问行为的分析体现发现被网络爬虫利用的账户；具体如下：收集关键位置的用户访问日志：对用户访问网站的关键节点和网站重要的数据端口进行日志埋点，收集用户访问行为信息；在Kafka中收集对应消息队列：在kafka中创建不同队列用来收集不同节点的日志信息；通过Elasticsearch存储日志；通过Kibana展示日志信息：通过Kibana对Elasticsearch中的日志信息进行图形化展示；判断是否为高危账户。

技术领域

本发明涉及数据安全领域，具体地说是一种基于用户访问行为分析的爬虫识别方法及系统。

背景技术

对于网站运营者而言数据即资产，爬虫是大量获取互联网数据的主要手段，但对于网站本身而言大量的爬虫毫无节制的访问会造成服务器压力骤增，可能会导致网站崩溃；一些通过账号登录的恶意爬虫可能会通过技术手段模拟用户访问从而获取较为重要的商业数据以及一些用户隐私数据，严重的可能会造成一些数据安全生产事故。

在网络日益发达的今天，网络数据安全受到的挑战也越来越大。如果网站被大量的网络爬虫攻击会影响网站的稳定运行，降低正常用户的访问体验，严重的可能导致数据安全问题。

发明内容

本发明的技术任务是提供一种基于用户访问行为分析的爬虫识别方法及系统，来解决如何提前发现可能被网络爬虫利用的账户，降低数据被窃取的风险，提高数据安全性的问题。

本发明的技术任务是按以下方式实现的，一种基于用户访问行为分析的爬虫识别方法，该方法是通过对用户访问行为的分析体现发现被网络爬虫利用的账户；具体如下：

收集关键位置的用户访问日志：对用户访问网站的关键节点和网站重要的数据端口进行日志埋点，收集用户访问行为信息；

在Kafka中收集对应消息队列：在kafka中创建不同队列用来收集不同节点的日志信息；

通过Elasticsearch存储日志；

通过Kibana展示日志信息：通过Kibana对Elasticsearch中的日志信息进行图形化展示，便于分析；

判断是否为高危账户。

作为优选，用户访问行为信息包括如下：

①、用户访问网站的时间；

②、用户登录期间发起网络请求的频率情况；

③、关键数据接口用户的访问情况。

作为优选，通过Elasticsearch存储日志具体如下：

在Elasticsearch存放具体日志信息同时创建不同的索引主题便于检索；

网站在运行过程中将关键节点的日志发送至kafka相应的队列中；

由分布式的消费者程序将日志信息发送至Elasticsearch中存放。

更优地，日志信息具体如下：

①、利用cookie信息识别不同用户，记录用户访问网站的时间段；

②、记录用户对关键页面的访问情况；

③、记录用户发起请求频次。

作为优选，判断是否为高危账户具体如下：

(一)、通过用户访问时间结合网站的具体业务运行时间初步分析是否为非正常时间访问的账户：

①、若是，则跳转至步骤(四)；