[发明专利]一种基于LDA主题模型的OSN社区发现方法

说明书

技术领域

本发明涉及一种利用了隐形狄利克雷分布(LatentDirichletAllocation，简称LDA)主题模型的在线社交网络(OnlineSocialNetwork，简称OSN)社区发现机制，属于社会计算领域，特别是社区发现领域。

背景技术

随着互联网的高速发展，网络由最初的以数据为核心逐渐转变为以人为核心，这促进了在线社交网络的迅猛发展。在线社交网络区别于传统的人际关系网络，不仅拥有大规模用户及其好友关系，还拥有大量的用户自发表达的文字信息，这给社区发现工作带来了新的生机和挑战。

传统的社区发现方法主要基于连接，即图的拓扑结构，这种方法通过分析个体之间的显式连接进行社区划分，所发现的社区内部节点之间连接相对紧密，不同社区之间连接相对稀疏，但这种方法并没有考虑到用户的主题特性。在微博中，用户的推文通常隐含了用户的兴趣爱好、行为模式等信息，而自然语言处理中所使用到的主题模型可以将这些因素考虑在内。

发明内容

发明目的：针对现有技术中存在的问题，本发明一种基于LDA主题模型的社区发现方法，在不依靠网络拓扑连接信息的基础上，通过挖掘用户微博语义信息得到相应的概率模型，同时引入微博内容语义相似性，有效描述了用户兴趣爱好的概率分布情况；引入社区内部拓扑连接紧密性，挖掘内部拓扑连接相对十分紧密的社区。

技术方案：为了解决上述问题，本发明提出一种基于LDA主题模型的OSN社区发现方法，利用在线社交网络中用户与其好友的关系以及用户自发表达的文字信息进行OSN社区发现过程，包括如下步骤：

1)进行数据集预处理，对原始用户微博文档进行分词、去停顿词、去噪等预处理工作，具体的，从weibo数据集中抽取每条记录的[uid,text]字段，并根据uid对所有微博进行归类，每条记录的格式为[uid,text1；text2；……]，使用中科院计算所汉语词法分析系统ICTCLAS2013版进行分词，在分词过程中，去除停顿词以及对于模型而言没有实际意义的词语(如URL、标点符号、语气词等)，同时去除微博表情符号；对记录用户关系的文档中的followers数据集进行用户关系双向化处理并剔除没有好友的用户，每条记录的格式为[user，friend1；friend2；......]；

2)根据既定社区元素构建LDA主题模型，包括基于社区内部微博内容语义相似性构建的主题模型LDA-T和基于拓扑连接紧密性构建的主题模型LDA-F，所述LDA-T中词项集是由用户所有推文中的词项构成的集合，文档集是由所有用户的推文构成的集合，主题为社区的集合，所述LDA-F中词项集是由用户的所有好友构成的集合，文档集是由所有用户构成的集合，主题是社区的集合；

3)根据步骤2得到的模型LDA-T和LDA-F，对文档下主题概率分布以及主题下词项概率分布施加Dirichlet分布，生成基于超参数的联合概率分布p(w_m，z_m，θ_m，Φ|α，β)，其中，α和β是Dirichlet分布的超参数，w_m表示第m篇文档中所有词项的集合，z_m表示第m篇文档中所有词项对应的主题的集合，θ_m表示第m篇文档的主题概率分布，Φ表示所有主题下的词项概率分布的集合；

4)根据步骤3得到的联合概率分布，利用吉布斯采样算法估计给定文档时主题的概率分布θ_m和给定主题时词项的概率分布

5)根据步骤4得到的参数获取社区。

所述步骤2中LDA模型中文档的生成过程和参数约定为：

1)对每个主题k∈[1，K]，采样主题k的词项概率分布

2)对每个文档m∈[1，M]，采样文档m的主题概率分布θ_m～Dir(α)；

3)对每个文档m∈[1，M]，采样文档m的长度N_m～Poiss(ξ)；

4)对每个文档m中的词项n∈[1，N_m]，选择隐含的主题z_m，n～Mult(θ_m)，生成一个词项

其中，N_m表示第m篇文档所包含的词项数，K表示主题数目，M表示文档数目，α、β、ξ为概率分布的参数。

所述步骤3生成的联合概率分布为：