[发明专利]一种基于LDA主题模型的电信用户相似度发现方法

说明书

本发明涉及数据挖掘领域，具体公开了一种基于LDA(Latent Dirichlet Allocation潜在狄利克雷分布)主题模型的电信用户相似度发现方法，其是将电信用户的多维特征与基于概率模型的主题发现算法有机地联系在一起，从四个不同的方面考虑电信用户相似度计算方法，这四个方面分别是：用户的基本属性、通话记录、短信记录以及用户一天中连接的所有基站的位置信息和连接起始时间、结束时间。本发明重点利用LDA主题模型对用户一天中所连基站信息语料库进行建模，利用文本的统计特性，挖掘隐藏在文本内的潜在主题信息，得到文档的主题分布，以此计算文档的相似度，为深入挖掘电信领域用户的相似特征提供有力地保证。

技术领域

本发明涉及一种基于LDA(Latent Dirichlet Allocation潜在狄利克雷分布)主题模型的电信用户相似度发现方法，属于数据挖掘、主题模型领域。

背景技术

近年来，随着移动互联网行业的兴起，全球电信市场的规模越来越大，技术更新越来越快，各运营商之间以及运营商与互联网公司之间的竞争也日趋激烈。传统的通话业务和短信业务受到互联网公司旗下社交网络产品的猛烈冲击，针对这一现象，全球电信运营商纷纷提出转型战略，将服务策略从以业务为中心转向以客户为中心。因此，运营商必须更加深入地了解客户，进而调整运营策略，向用户提供更加优质的服务。

在大数据上升到国家战略的时代背景下，加上多年来运营商累积的海量用户数据条件下，充分挖掘电信用户数据的潜在价值不仅仅对于运营商，乃至社会各个行业都具有重要意义。

为了达到上述目标，对电信用户网络进行社团划分是其中一个研究方向，而社团划分中的一个重要环节就是对相似用户进行聚类。聚类是把相似对象归入同一簇，不同对象归到不同簇。由于通过聚类分析可以建立宏观的数据分布模式，了解数据属性之间的相关度，并推测相互关系，所以聚类在数据挖掘中得到广泛应用。

现有的电信用户相似度计算方法，虽然考虑了用户相关维度的特征属性，但并未结合移动用户的其他特点，例如手机App的使用情况、浏览历史记录、基站位置信息等，因此计算出来的相似度值具有一定的局限性，也间接影响之后聚类的准确性。而LDA模型是一种对文档集建模的概率主题模型，是一种对文本数据的主题信息进行建模的方法。它由三层生成式贝叶斯网络结构组成，基于这样一种前提假设：在忽略文档中的语法结构和词语出现的先后顺序的情况下，文档是由若干个隐含的主题组成，而这些主题是由若干个特定词汇组成。因此，将电信用户所属基站位置信息抽象为文档，利用LDA主题模型计算文档主题间的相似度，再结合用户基本属性、通话关系和短信关系这三方面内容，综合考虑用户的相似程度。

发明内容

为解决现有技术的不足，本发明的目的在于提出一种基于LDA主题模型的电信用户相似度发现方法，该方法将电信用户的多维特征与基于概率模型的主题发现算法有机地联系在一起，从四个层面考虑如何计算电信用户相似度，为聚类的准确性提供保证。

为了实现上述目标，本发明实施例采用如下的技术方案，包括以下步骤：

S1：采集用户信息；

S2：对S1中采集的用户信息进行预处理；

S3：对S2中预处理信息中的基本属性、用户通话记录和用户短信记录进行相似度计算；

S4：对S2中预处理信息中的用户在一天内所连基站位置信息，建立LDA模型，计算该信息相似度；

S5：综合相识度计算，推测相互关系；

S6：以S4中推测出的相互关系进行聚类。

S2中采集的用户信息进行预处理，包括数据清理、数据集成、数据变换、数据规约4个步骤。