[发明专利]基于用户访问行为分析的爬虫识别方法及系统

权利要求书

1.一种基于用户访问行为分析的爬虫识别方法，其特征在于，该方法是通过对用户访问行为的分析体现发现被网络爬虫利用的账户；具体如下：

收集关键位置的用户访问日志：对用户访问网站的关键节点和网站重要的数据端口进行日志埋点，收集用户访问行为信息；

在Kafka中收集对应消息队列：在kafka中创建不同队列用来收集不同节点的日志信息；

通过Elasticsearch存储日志；

通过Kibana展示日志信息：通过Kibana对Elasticsearch中的日志信息进行图形化展示；

判断是否为高危账户。

2.根据权利要求1所述的基于用户访问行为分析的爬虫识别方法，其特征在于，用户访问行为信息包括如下：

①、用户访问网站的时间；

②、用户登录期间发起网络请求的频率情况；

③、关键数据接口用户的访问情况。

3.根据权利要求1所述的基于用户访问行为分析的爬虫识别方法，其特征在于，通过Elasticsearch存储日志具体如下：

在Elasticsearch存放具体日志信息同时创建不同的索引主题便于检索；

网站在运行过程中将关键节点的日志发送至kafka相应的队列中；

由分布式的消费者程序将日志信息发送至Elasticsearch中存放。

4.根据权利要求3所述的基于用户访问行为分析的爬虫识别方法，其特征在于，日志信息具体如下：

①、利用cookie信息识别不同用户，记录用户访问网站的时间段；

②、记录用户对关键页面的访问情况；

③、记录用户发起请求频次。

5.根据权利要求1所述的基于用户访问行为分析的爬虫识别方法，其特征在于，判断是否为高危账户具体如下：

(一)、通过用户访问时间结合网站的具体业务运行时间初步分析是否为非正常时间访问的账户：

①、若是，则跳转至步骤(四)；

②、若否，则执行步骤(二)；

(二)、判断用户发起网络请求的频率是否均匀：

①、若是，则跳转至步骤(四)；

②、若否，则执行步骤(三)；

(三)、判断用户是否频繁访问关键数据接口：

①、若是，则执行步骤(四)；

②、若否，则为非高危账户；

(四)、判断为高危账户。

6.一种基于用户访问行为分析的爬虫识别系统，其特征在于，该系统包括，

收集模块一，用于对用户访问网站的关键节点和网站重要的数据端口进行日志埋点，收集用户访问行为信息；

收集模块二，用于在kafka中创建不同队列用来收集不同节点的日志信息；

存储模块，用于通过Elasticsearch存储日志；

展示模块，用于通过Kibana对Elasticsearch中的日志信息进行图形化展示；

判断模块，用于判断是否为高危账户。

7.根据权利要求6所述的基于用户访问行为分析的爬虫识别系统，其特征在于，所述存储模块的工作过程具体如下：

(1)、在Elasticsearch存放具体日志信息同时创建不同的索引主题便于检索；

(2)、网站在运行过程中将关键节点的日志发送至kafka相应的队列中；

(3)、由分布式的消费者程序将日志信息发送至Elasticsearch中存放。

8.根据权利要求6所述的基于用户访问行为分析的爬虫识别系统，其特征在于，所述判断模块包括如下情况：

①、通过用户访问时间结合网站的具体业务运行时间初步分析出非正常时间访问的账户，即为高危账户；

②、用户发起网络请求的频率很均匀，即为高危账户；

③、用户频繁的访问关节数据接口，即为高危账户。