[发明专利]用于电网业务大数据检测分析的聚类方法及装置

说明书

本申请实施例提出了用于电网业务大数据检测分析的聚类方法及装置，包括在电网大数据平台处通过核心路由节点收集包括发送方IP地址、接收方IP地址、发送时间在内的全网数据包；解析全网数据包得到对应每个发送方IP地址发送数据包的数量以及每个接收方IP地址接收数据包的数量，基于得到的数量进行统计得到针对未知IP地址的未知数据集；根据已知数据集确定中心点；计算未知数据集中的每个点与中心点的最短距离，对未知数据集的点执行聚类操作。利用大数据对全网数据进行处理，将已知的异常数据发送方IP地址作为重要训练样本；最密集的区域是最有可能出现潜在风险点，作为起始中心点，能够指引后续的聚类；并借助抛弃边缘点的做法提高了聚类效率。

技术领域

本申请属于大数据作业领域，尤其涉及用于电网业务大数据检测分析的聚类方法及装置。

背景技术

电力系统向高度信息化、自动化的方向发展，电网规模的日益扩大，需要管理庞大的电力设备设施数据、电网业务数据、用户数据、规划数据等。而科学的决策在某种程度上依赖于决策者所掌握的信息量的大小。发电变电、电网系统均是包含大量信息的复杂系统。而现有技术将有关信息集成起来，为电力系统决策人员提供一个多元化的决策依据。

目前电网存在多源异构海量数据，包括已有实时数据、历史数据和方针数据等多源异构数据，这些数据之间存在整合的多样性和不确定性的问题，而且在各类数据中往往还混杂有异常数据，这些异常数据有些还可能是具有主观恶意的异常数据。

现有技术中，还是在利用传统的聚类算法，将所有要聚类的点都一视同仁，从而导致算法的计算量特别大，计算成本大，计算速度低。

要解决的问题是：如何降低要聚类的点的数量，实现对聚类算法的降维处理，能够快速清理异常数据。

发明内容

为了解决现有技术中存在的缺点和不足，本申请提出了用于电网业务大数据检测分析的聚类方法及装置，借助聚类过程中抛弃边缘点的做法，提高了聚类效率。

具体的，一方面，本申请实施例提出的用于电网业务大数据检测分析的聚类方法，包括：

在电网大数据平台处通过核心路由节点收集包括发送方IP地址、接收方IP地址、发送时间在内的全网数据包；

解析全网数据包得到对应每个发送方IP地址发送数据包的数量以及每个接收方IP地址接收数据包的数量，基于得到的数量进行统计得到针对未知IP地址的未知数据集；

根据已知数据集确定中心点；

计算未知数据集中的每个点与中心点的最短距离，对未知数据集的点执行聚类操作。

可选的，所述解析全网数据包得到对应每个发送方IP地址发送数据包的数量以及每个接收方IP地址接收数据包的数量，基于得到的数量进行统计得到针对未知IP地址的未知数据集，包括：

统计每个IP地址发送数据包的数量以及接收方IP地址获得两个数据；

其中，第一数据是数据发送频率的变化程度，第二数据是接收方数量的变化程度，将第一数据作为x轴参数，第二数据作为y轴参数，每个IP地址相当于二维坐标里的一个点。

根据电网历史数据，确定属于已知的异常数据发送方的IP地址，结合已知的全部IP地址筛选出未知IP地址；

建立针对所有已知的异常数据发送方IP地址的已知数据集，建立针对所有未知IP地址的未知数据集。

可选的，所述根据已知数据集确定中心点包括：

预先设置分类数量k，所述分类数量历史数据的数量正相关，或与当前一段时间内的数据数量正相关；

找出已知数据集中x轴的最大值和最小值，并将从最小值到最大值均分为k个区间，每个区间的间隔是xl；