[发明专利]面向大规模网络流量的分布式社会网络结构快速挖掘系统

权利要求书

1.面向大规模网络流量的分布式社会网络结构快速挖掘系统，其特征在于，包括：

数据处理子系统，对输入的大规模网络流量进行预处理，按照不同粒度提取网络流量数据，并将所提取的数据分发，进行分布式挖掘和存储；

网络结构挖掘子系统，包含c个相互独立的处理单元，编号{0,...,c-1}，各个处理单元接收分发的网络流量数据，结合所存储的历史网络流量数据，挖掘社会网络中包含的拓扑结构并进行更新；所述每个处理单元对每个接收到的网络流量数据，进行社会网络拓扑结构的分布式计算，包括整个社会网络中三角形拓扑结构数量以及特定节点参与的三角形拓扑结构数量，每个处理单元分别更新所分配的子网络处理结果，最后进行汇总，得到整个社会网络的拓扑结构挖掘结果；

数据存储子系统，包含c个相互独立的存储单元，编号{0,...,c-1}，各个存储单元接收网络挖掘子系统中对应编号的处理单元处理的数据，并基于哈希技术保留符合条件的网络流量数据，提高各个处理单元处理网络流量数据的效率；

其特征在于，所述网络结构挖掘子系统中每个处理单元接收的网络流量数据，用边(u,v)表示，对于任意两个节点u和v，每个处理单元中都可能存储与这两个节点u和v相邻的节点，分别用和表示在第i个处理单元的邻接节点集合，和表示第i个处理单元的邻接节点个数，对于任意边(u,v)，其参与形成的三角形网络拓扑结构数量理解为u和v共同连接的邻接节点个数，用表示，每个处理单元包含的三角形拓扑结构数量以及单个节点参与的三角形拓扑结构更新为：

其中，τ⁽ⁱ⁾为第i个处理单元所挖掘的三角形拓扑结构个数，分别为第i个处理单元中节点u、v和w参与的三角形拓扑结构个数；

每个处理单元以固定概率采样，相当于将数据处理子系统处理后的数据均匀地分发给m个处理单元进行网络结构挖掘，每个三角形拓扑结构形成的概率表示为：

c为网络结构挖掘子系统中的处理单元数量；

当c≤m时，整个社会网络中三角形拓扑结构数量以及单个节点v参与的三角形拓扑结构数量计算为：

当c>m时，网络结构挖掘子系统中所有处理单元数量表示为c＝c₁m+c₂，其中c₂＝c％m；则当c₂＝0时，社会网络中拓扑结构计算为：

当c₂≠0时，将社会网络拓扑结构的计算划分为两部分，对前c₁m处理单元社会网络拓扑结构数量的计算和对后c₂个处理单元社会网络拓扑结构数量的计算，两部分计算对应的方差分别用w⁽¹⁾和w⁽²⁾表示；对于每个处理单元，更新参数其中，表示第i个处理单元中点u和w共同参与的三角形拓扑结构数量，表示第i个处理单元中点v和w共同参与的三角形拓扑结构数量，η⁽ⁱ⁾表示前两条边已经被存储在第i个处理单元中的三角形拓扑结构数量，由此得到：

进一步可得到整个社会网络的三角形拓扑结构数量为：

同样地，对特定节点v参与的三角形拓扑结构数量的计算，也按照上述计算划分为两部分，对前c₁m处理单元社会网络拓扑结构数量的计算和对后c₂个处理单元社会网络拓扑结构数量的计算，两部分计算对应的方差分别用和表示，对于每个处理单元，更新参数其中，表示节点v参与的且前两条边已经被存储在第i个处理单元中的三角形拓扑结构数量，由此可得到：

进一步可得到整个社会网络的三角形拓扑结构数量为：

2.根据权利要求1所述面向大规模网络流量的分布式社会网络结构快速挖掘系统，其特征在于，所述数据处理子系统对输入的大规模网络流量进行预处理，从每个数据包中提取源IP地址、目的IP地址、源端口号、目的端口号和协议的五元组或五元组中部分数据的任意组合，并将提取的网络流量数据分发给网络结构挖掘子系统的每个处理单元。