[发明专利]标记样本的方法、系统、设备及介质

说明书

本发明公开了一种标记样本的方法、系统、设备及介质，方法包括：获取每个url_pattern在第一预设时间段内的页面浏览量，以及访问该url_pattern的去重后的IP地址数量，以确定危险url_pattern；获取第二预设时间段内访问每一个危险url_pattern的IP地址的时间参数和页面浏览参数，进而确定出现异常访问的IP地址，将出现异常访问的IP地址标记为正样本。使用本发明中的方法标记正样本，不仅标记准确性高、减少人力成本，而且标记效率高、通用性好，以便给机器学习模型中筛选正样本数据。

技术领域

本发明涉及web网络安全领域，尤其涉及一种标记样本的方法、系统、设备及介质。

背景技术

随着网络应用的不断发展，互联网在人们的日常工作和生活中扮演着越来越重要的角色。互联网技术的不断发展，使得网络中的不安全因素也在不断增加，来自恶意IP地址的恶意访问容易造成网络服务器瘫痪，严重影响网络服务提供商的服务质量，进而影响用户使用。

为了阻止来自恶意IP地址的恶意访问，现有技术中采用网络异常访问者检测技术识别恶意IP地址。即，通过Web日志进行数据挖掘，使用用户历史访问的Web日志进行建模，构建用户的画像，运用机器学习模型，从Web日志中分析出异常用户行为，确定恶意IP地址。

其中，机器学习模型分为有监督学习模式和无监督学习模式。无监督学习模式下，由于无监督学习自身的局限性，造成无监督学习存在准确率不高、解释性差的问题，无法准确识别恶意IP地址。要想更加准确地在众多IP地址中，准确识别出恶意IP地址，需要对机器学习模型在有监督学习模式下进行训练。

而现有的机器学习模型在有监督学习模式下使用的标记样本是由技术专家通过人工标记方式确定的，存在样本标记过程人工成本高、标记效率低、标记过程受人为经验影响较大的问题。同时，由于采用人工方法进行样本标记，造成有监督学习模式还存在维护成本高、通用性差的问题。

发明内容

为了解决上述技术问题，本发明提供了一种标记样本的方法、系统、设备及介质。

本发明提供的标记样本的方法，包括：获取每个url_pattern在第一预设时间段内的页面浏览量，以及访问该url_pattern的去重后的IP地址数量；

根据每个所述url_pattern对应的所述页面浏览量和所述去重后的IP地址数量，确定危险url_pattern；

获取第二预设时间段内访问每一个所述危险url_pattern的IP地址的时间参数和页面浏览参数；

根据每一个所述危险url_pattern对应的所述时间参数和所述页面浏览参数，确定出现异常访问的IP地址，将所述出现异常访问的IP地址标记为正样本。

上述方法还具有以下特点：所述根据每个所述url_pattern对应的所述页面浏览量和所述去重后的IP地址数量，确定危险url_pattern包括：

根据每个所述url_pattern对应的所述页面浏览量和所述去重后的IP地址数量，计算每个所述url_pattern的受攻击参数；

根据所述url_pattern的受攻击参数，确定危险url_pattern。

上述方法还具有以下特点：所述根据每个所述url_pattern对应的所述页面浏览量和所述去重后的IP地址数量，计算每个所述url_pattern的受攻击参数包括：

计算所述url_pattern对应的页面浏览量与该url_pattern对应的去重后的IP地址数量之间的比值，将所述比值作为所述url_pattern的受攻击参数。

上述方法还具有以下特点：所述根据所述url_pattern的受攻击参数，确定危险url_pattern包括：