[发明专利]一种结合深度稀疏编码器和拟牛顿法的社区发现分析方法

说明书

本发明公开一种结合深度稀疏编码器和拟牛顿法的社区发现分析方法，包括步骤：对图G＝(V,E)，V＝{v₁，v₂，…v_i，…v_n}，V代表节点集，E代表边集，v_i代表节点，n为节点数量，求得图G的邻接矩阵的相似度矩阵S；将S作为输入，利用深度稀疏自动编码器进行训练，最后输出低维特征矩阵S_T；对S_T进行聚类实现社区发现。本发明利用跳数构造出邻接矩阵的相似度矩阵，随后基于无监督学习的方式构建深度稀疏自动编码器实现降维，提取出特征结构，最后通过k‑means进行聚类生成社区，通过相似度矩阵的计算可以在小数据集上提高聚类准确度，再使用深度稀疏自动编码器可以进一步提高在大数据集上的聚类准确度。

技术领域

本发明属于数据处理技术领域，具体涉及一种结合深度稀疏编码器和拟牛顿法的社区发现分析方法。

背景技术

社区发现(Community Detection)是一项用于理解现实世界众多的网络结构的重要方法，在研究复杂网络时，如果一个网络具有社区结构，那么它应该能够轻易分成若干子图，且子图内部连接稠密，子图之间连接稀疏。这样的网络与现实生活中很多真实存在的结构相匹配，比如某一个区域的互联网，某一个社交网络，或者生物学中某一个地区的生态网络等。这些学科在研究问题时需要建立大型的复杂网络，网络节点一般可达千万级别，对于生物学甚至可以达到万亿级别。这样的网络往往复杂，但具备很多共性，除了具备小世界、幂律分布、无标度和集群等特性外，另外一个重要的性质则是具备社区结构。在网络中具备社区结构是指网络中存在一部分节点，这些节点内部连接很紧密，而这些节点与其他节点连接又较为稀疏。这样的结构意味着该网络在客观上就是由子图组成的网络。在复杂网络中进行社区发现中，图分割问题(graph partition problem)是核心工作。将一个图分割成两个紧密相连的，大小相同的社区，属于NP完全问题。

社区发现，即在图(Graph)中将节点(Node)划分其所属的模块(Module)，使模块内部边数大于模块之间的边数，且该过程一般只使用图的拓扑结构作为信息的来源。根据真实数据建模的图往往具备社区结构，同一个社区的成员一般扮演相似的角色或完成相似的任务。目前主流的社区发现算法有层次聚类(Hierarchical clustering)方法，如GN，Newman，Radicchi等，矩阵分块(Matrix Blocking)方法，如FDSSUG，骨架图(graph-skeleton-based)方法，如gSkeletonClu，标签传播方法，如LPA，HANP，LPAm，图嵌入(GraphEmbedding)方法，如LE，Deepwalk，GraRep。这些算法速度较快，但是准确率和稳定性有待提高，生成相似度矩阵时只考虑了邻居节点，而其相隔关联节点没有放入考虑的范围之内，这是降低了聚类结果准确性的因素之一。在高维的相似度矩阵中存在着大量的冗余信息，在一定程度上掩盖了关键信息，导致聚类时数据表达不明确，加大了算法的随机性，导致结果准确率降低。

发明内容

本发明的目的在于提供一种结合深度稀疏编码器和拟牛顿法的社区发现分析方法，解决了目前社区发现算法存在的由于冗余信息掩盖关键信息导致结果准确率低的问题。

本发明所采用的技术方案是：一种结合深度稀疏编码器和拟牛顿法的社区发现分析方法，包括步骤：

针对网络图G＝(V,E)，V＝{v₁，v₂，...v_i，...v_n}，其中V代表网络图G中的节点集，E代表网络图G中的边集，v_i代表网络图G中的节点，n为节点数量，求得网络图G的邻接矩阵的相似度矩阵S；

将所述相似度矩阵S作为输入，利用深度稀疏自动编码器进行训练，最后输出低维特征矩阵S_T；

对所述低维特征矩阵S_T进行聚类实现社区发现。