[发明专利]一种基于LDA主题模型的OSN社区发现方法

摘要

本发明公开了一种基于隐形狄利克雷分布 (Latent Dirichlet Allocation，简称LDA)主题模型的在线社交网络(Online Social Network，简称OSN)社区发现方法，首先进行数据集预处理；然后利用在线社交网络中用户与其好友的关系以及用户自发表达的文字信息建立基于LDA主题模型（包括LDA-F模型和LDA-T模型），求解模型概率分布；再利用吉布斯采样算法进行参数估计；最后根据估计的参数进行OSN社区发现。本发明提供的方法在不依靠网络拓扑连接信息的基础上，通过挖掘用户微博语义信息得到相应的概率模型，同时引入微博内容语义相似性，有效描述了用户兴趣爱好的概率分布情况；引入社区内部拓扑连接紧密性，挖掘内部拓扑连接相对十分紧密的社区。

主权项

一种基于LDA主题模型的OSN社区发现方法，其特征在于，利用在线社交网络中用户与其好友的关系以及用户自发表达的文字信息进行OSN社区发现过程，包括如下步骤：1)进行数据集预处理，对原始用户微博文档进行分词、去停顿词、去噪等预处理工作，对记录用户关系的文档中的followers数据集进行用户关系双向化处理并剔除没有好友的用户；2)根据既定社区元素构建LDA主题模型，包括基于社区内部微博内容语义相似性构建的主题模型LDA‑T和基于拓扑连接紧密性构建的主题模型LDA‑F，所述LDA‑T中词项集是由用户所有推文中的词项构成的集合，文档集是由所有用户的推文构成的集合，主题为社区的集合，所述LDA‑F中词项集是由用户的所有好友构成的集合，文档集是由所有用户构成的集合，主题是社区的集合；3)根据步骤2得到的模型LDA‑T和LDA‑F，对文档下主题概率分布以及主题下词项概率分布施加Dirichlet分布，生成基于超参数的联合概率分布p(w_m,z_m,θ_m,Φ|α,β)，其中，α和β是Dirichlet分布的超参数，w_m表示第m篇文档中所有词项的集合，z_m表示第m篇文档中所有词项对应的主题的集合，θ_m表示第m篇文档的主题概率分布，Φ表示所有主题下的词项概率分布的集合；4)根据步骤3得到的联合概率分布，利用吉布斯采样算法估计给定文档时主题的概率分布θ_m和给定主题时词项的概率分布5)根据步骤4得到的参数获取社区。