[发明专利]一种黑产场景下恶意云机器人的识别方法及系统

权利要求书

1.一种黑产场景下恶意云机器人的识别方法，包括以下步骤：

(1)在服务器端实时收集客户端发来的待测流量；

(2)将待测流量按照客户端IP-时间段进行汇聚，每个客户端在一定时间段内的流集合作为一个样本，并进一步提取样本中与恶意云机器人识别模型相对应的特征向量，其中，所述流集合指具有相同五元组的包序列：{源IP，目的IP，源端口，目的端口，TCP}，所述特征向量依据多层流量统计特征得到，所述多层流量统计特征包括基本特征、操作系统指纹特征、TTL相关特征、端口相关特征和应用层统计特征，所述基本特征包括对端节点的数量、数据包总数、总字节数、流的数量、每个流的包数的统计值、每个流的总字节数的统计值及每个流的持续时间的统计值，所述操作系统指纹特征包括TCP最大分段大小、TCP窗口大小，TCP窗口比例及No-option选项的频数统计，所述TTL相关特征包括TTL值统计和跳数统计，所述端口相关特征包括至少一个客户端端口集合，所述应用层统计特征包括每一样本的HTTP请求中方法类型统计、HTTP头部不同host的数量及不同host在HTTP请求中相应的数据包与字节数、HTTP头部不同URL字段值的数量及不同URL字段值在HTTP请求中相应的数据包与字节数、SSL/TLS头部不同sni字段值的数量和SSL/TLS头部不同sni字段值对应的数据包与字节数；

(3)将上述待测流量的特征向量作为输入，通过恶意云机器人识别模型进行识别；

其中，所述恶意云机器人识别模型通过下述方法构建：

在服务器端实时收集客户端发来的流量，存储并提取样本，使用恶意云机器人数据库对样本数据进行标注，若初始样本的客户端IP包含在该数据库中，则将该初始样本标注为恶意云机器人样本；反之，则标注为人类用户样本；

对样本流量数据进行多层流量统计特征的提取，得到特征向量；

基于机器学习方法，利用特征向量训练多种分类器，选取具有最优效果的分类器，得到恶意云机器人识别模型。

2.如权利要求1所述的一种黑产场景下恶意云机器人的识别方法，其特征在于，所述一定时间段为1小时。

3.如权利要求1所述的一种黑产场景下恶意云机器人的识别方法，其特征在于，所述恶意云机器人数据库为互联网数据中心IP数据库。

4.如权利要求1所述的一种黑产场景下恶意云机器人的识别方法，其特征在于，所述恶意云机器人识别模型构建过程具体为：

(1)选择分类算法并设置分类算法的参数；

(2)将提取的特征向量数据集分为训练集与验证集，利用训练集训练恶意云机器人识别模型，利用验证集评估恶意云机器人识别模型分类效果；

(3)根据样本数据标注，计算恶意云机器人识别模型中分类器的准确率和召回率，若准确率和召回率不低于预设阈值，则当下的分类器为最优分类器；否则，返回步骤(1)，更换算法和参数，重新训练恶意云机器人识别模型中分类器，直至满足预设阈值，得到最优分类器；

(4)根据步骤(3)中得到的最优分类器在真实环境中的表现，对该最优分类器的参数进行迭代调整，得到恶意云机器人识别模型。

5.如权利要求4所述的一种黑产场景下恶意云机器人的识别方法，其特征在于，所述分类算法包括：朴素贝叶斯、逻辑回归、支持向量机、决策树和随机森林。

6.一种黑产场景下恶意云机器人的识别系统，包括：

样本提取与标注模块：在服务器端实时收集客户端发来的原始流量，存储并提取样本，使用数据库对流量样本数据进行标注，若初始样本的客户端IP包含在该数据库中，则将该初始样本标注为恶意云机器人样本；反之，则标注为人类用户样本；

特征向量提取模块：对流量样本数据进行多层流量统计特征的提取，得到特征向量；

分类器训练模块：基于机器学习方法，利用特征向量训练多种分类器，选取具有最优效果的分类器，得到恶意云机器人识别模型；

恶意云机器人识别模块：收集待测流量，进行样本提取和特征向量提取，利用上述具有最优效果的分类器进行恶意云机器人的识别；

其中，提取样本的方法为：将待测流量按照客户端IP-时间段进行汇聚，每个客户端在一定时间段内的流集合作为一个样本，所述流集合指具有相同五元组的包序列：{源IP，目的IP，源端口，目的端口，TCP}；

所述多层流量统计特征包括基本特征、操作系统指纹特征、TTL相关特征、端口相关特征和应用层统计特征，所述基本特征包括对端节点的数量、数据包总数、总字节数、流的数量、每个流的包数的统计值、每个流的总字节数的统计值及每个流的持续时间的统计值，所述操作系统指纹特征包括TCP最大分段大小、TCP窗口大小，TCP窗口比例及No-option选项的频数统计，所述TTL相关特征包括TTL值统计和跳数统计，所述端口相关特征包括至少一个客户端端口集合，所述应用层统计特征包括每一样本的HTTP请求中方法类型统计、HTTP头部不同host的数量及不同host在HTTP请求中相应的数据包与字节数、HTTP头部不同URL字段值的数量及不同URL字段值在HTTP请求中相应的数据包与字节数、SSL/TLS头部不同sni字段值的数量和SSL/TLS头部不同sni字段值对应的数据包与字节数。