[发明专利]改善异常检测率的方法

说明书

一种改善通信网络中异常检测率的系统与方法。服务器计算机可以接收包含通过通信网络传送的流量的数据集，并且基于诸如传输控制协议(TCP)端口号或用户数据报协议(UDP)端口号等网络服务类型或者基于关联于所述流量的应用层协议将所述流量分组到数据类别中。所述服务器计算机还可以基于关联于数据类别的至少一个共同特征与所述数据类别中的流量之间的不一致性检测每个数据类别中的异常。不同的数据类别可以与不同的所述至少一个共同特征相关联。可以对异常检测进行监督或不监督。

相关申请交叉引用

本申请要求享有于2016年9月23日提交的申请号为15/274,315、发明名称为“改善异常检测率的方法”的美国非临时专利申请的优先权，该美国非临时专利申请又要求享有于2015年10月2日提交的申请号为62/236,745、发明名称为“改善异常检测率的方法”的美国临时专利申请的优先权，以上两专利申请的全部内容通过引用结合在本申请中。

技术领域

本发明一般涉及管理网络中资源的分配，并且在具体实施例中涉及改善异常检测率的方法的技术和机制。

背景技术

在机器学习中，通常将聚类分析用作无监督算法来检测异常。聚类分析基于描述了对象及其间关系的特征对数据对象进行分组。聚类分析将一组对象分成多组，使得相似的对象分组在一起，不同的组包含具有不同特征的对象。良好的聚类通常以组内相似性较高且不同组间差异较大为特征。

数据集可以包含特征显著不同于数据集中其它对象的对象。这些差异性显著的数据对象称为离群值或异常值。离群值识别对与其余数据有很大不同的较小数据对象组进行查找。离群值挖掘对不符合其余数据的数据模式进行识别。离群值挖掘用于电信、金融欺诈检测、稀有基因识别和数据清理等领域。

发明内容

技术优点通常通过对改善异常检测率的方法进行描述的本申请实施例来实现。

根据实施例，提供了一种可以由服务器计算机执行的用于改善通信网络中异常检测率的方法。在本示例中，所述方法包括：接收包含通过通信网络传送的流量的数据集，并基于所述流量的传输控制协议(TCP)端口号或用户数据报协议(UDP)端口号将所述流量分组到数据类别中。所述方法还包括：基于关联于数据类别的至少一个共同特征和所述数据类别中的流量之间的不一致性检测每个数据类别中的异常。不同的数据类别与不同的所述至少一个共同特征相关联。还提供了一种用于执行该方法的装置。

根据一实施例，所述方法还包括：基于所述数据类别中预定数量的流量所共享的共同点识别对所述数据类别的至少一个共同特征。

根据一实施例，所述检测每个数据类别中的异常包括：将数据类别中流量的特征与关联于良性数据集的特征进行比较；以及当关联于所述流量的特征与关联于所述良性数据集的特征之间的不一致性超过阈值时，确定流量是离群值。

根据一实施例，关联于所述数据类别的至少一个共同特征基于与所述数据类别对应的训练模型。

根据一实施例，通过应用与所述数据类别对应的模式识别过程，利用流量的分类预测来识别所述至少一个共同特征，并且与所述数据类别对应的所述训练模型包括至少一个正常类和至少一个异常类。

根据一实施例，所述模式识别过程是数据预处理、数据归一化、特征选择、特征空间缩减或参数选择中的至少一个。

根据一实施例，所述模式识别过程是对关联于所述数据类别的模型的训练、验证以及测试。

根据一实施例，所述分类预测包括：将所述数据类别中流量的特征与关联于所述至少一个正常类的特征进行比较；将所述数据类别中流量的特征与关联于所述至少一个异常类的特征进行比较；以及当关联于所述流量的特征与关联于所述至少一个正常类的特征之间的不一致性超过第一阈值或者当关联于所述流量的特征与关联于所述至少一个异常类的特征之间的不一致性不超过第二阈值时，确定流量是异常的。