[发明专利]数据流的处理方法及系统、电子设备、存储介质在审
申请号: | 201910181552.X | 申请日: | 2019-03-11 |
公开(公告)号: | CN111694862A | 公开(公告)日: | 2020-09-22 |
发明(设计)人: | 纪晓康 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F16/2455 | 分类号: | G06F16/2455 |
代理公司: | 上海弼兴律师事务所 31283 | 代理人: | 薛琦;李梦男 |
地址: | 100086 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据流 处理 方法 系统 电子设备 存储 介质 | ||
1.一种数据流的处理方法,其特征在于,所述处理方法包括:根据初始时刻采集的网络中节点的初始数据流,对所述节点进行聚类,生成至少2个簇;
其中,每个簇包括核心点集和边界点集;
所述核心点集中任意两节点的相关度大于相关阈值,且所述核心点集中的每个节点在网络拓扑图中具有相邻节点;
所述边界点集中的每个节点与所述核心点集中至少一个节点的相关度大于所述相关阈值;
对相关度大于所述相关阈值的两个节点,具有至少k个节点与所述两个节点的相关度均大于所述相关阈值;
k值为极大值,且不存在核心点集的超集。
2.如权利要求1所述的数据流的处理方法,其特征在于,根据所述初始数据流对所述节点进行聚类的步骤,具体包括:
对未聚类的每个节点,根据所述初始数据流统计与未聚类的每个节点的相关度大于所述相关阈值的节点的第一节点数量;
将所述第一节点数量最多的节点加入所述核心点集;
从相邻节点集中选取与所述核心点集中每个节点的相关度均大于所述相关阈值的节点,并加入所述核心点集;
所述相邻节点集包括所述核心点集中每个节点的相邻节点;
迭代从所述相邻节点集中选取节点并加入所述核心点集的步骤,直至所述相邻节点集中不存在与所述核心点集中每个节点的相关度均大于所述相关阈值的节点;
从相邻节点集中选取与所述核心点集中至少一个节点的相关度大于所述相关阈值的节点,并加入所述边界点集;
判断是否存在所述未聚类的节点,并在判断为是时,返回统计所述第一节点数量的步骤。
3.如权利要求2所述的数据流的处理方法,其特征在于,所述处理方法还包括:
根据t时刻采集的数据流对t-1时刻生成的簇进行调整,以使所述k值极大;
t赋值为t+1,并返回执行调整所述簇的步骤;
其中,t≥1;且当t=1时,为所述初始时刻。
4.如权利要求3所述的数据流的处理方法,其特征在于,根据t时刻采集的数据流对t-1时刻生成的簇进行调整的步骤,具体包括:
将每个簇的核心点集收缩为一个clique;
重构所述clique,使所述k值极大。
5.如权利要求4所述的数据流的处理方法,其特征在于,将每个簇的核心点集收缩为一个clique的步骤,具体包括:
对所述核心点集中的每个节点,根据所述t时刻采集的数据流统计与所述核心点集中每个节点的相关度大于所述相关阈值的节点的第二节点数量;
将所述第二节点数量最少的节点从所述核心点集中去除;
迭代从所述核心点集中去除节点的步骤,直至所述核心点集中剩余节点收缩为一个clique。
6.如权利要求4所述的数据流的处理方法,其特征在于,重构所述clique的步骤,具体包括:
将所述网络中的与所述clique中所有节点的相关度均大于相关阈值的节点加入候选节点集;
从所述候选节点集中选择第一目标节点,并加入所述核心点集;
所述第一目标节点具有数量最多的与所述核心点集中每个节点的相关度均大于所述相关阈值的相邻节点;
迭代将所述第一目标节点加入所述核心点集的步骤,直至所述k值极大。
7.如权利要求6所述的数据流的处理方法,其特征在于,重构所述clique的步骤,还包括:
对所述相邻节点集中每个节点,统计与所述核心点集中每个节点的相关度大于相关阈值的节点的第三节点数量;
在不降低所述k值的前提下,将所述第三节点数量最多的节点加入所述核心点集。
8.如权利要求1-7中任意一项所述的数据流的处理方法,其特征在于,所述处理方法还包括:
基于局部最优化策略对每个簇中的节点的数据流进行压缩,以提取代表数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910181552.X/1.html,转载请声明来源钻瓜专利网。