[发明专利]基于PLSA算法判断文档相关性的方法及装置有效
申请号: | 201310684227.8 | 申请日: | 2013-12-13 |
公开(公告)号: | CN103678599B | 公开(公告)日: | 2016-10-26 |
发明(设计)人: | 何锐邦;唐会军 | 申请(专利权)人: | 北京奇虎科技有限公司;奇智软件(北京)有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京市浩天知识产权代理事务所(普通合伙) 11276 | 代理人: | 宋菲;刘兰兰 |
地址: | 100088 北京市西城区新*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 plsa 算法 判断 文档 相关性 方法 装置 | ||
技术领域
本发明涉及网络通信技术领域,具体涉及一种基于PLSA算法判断文档相关性的方法及装置。
背景技术
目前,在判断两个文档的相关性时所采用的传统方法是通过查看两个文档共同出现的词汇的多少进行判断,例如可以采用TF-IDF(term frequency–inverse document frequency)等算法来判断。但是,这种方法只是采用简单的词汇匹配方式进行判断,并没有考虑到文字背后的语义关联,有时,可能在两个文档中共同出现的词汇很少甚至没有,但由于这两个文档的语义相关,导致这两个文档实质上是相似的。因此,为了提高判断结果的准确率,在判断文档相关性的时候还需要考虑词汇的语义关联问题。通常,采用主题模型来进行语义挖掘,进而判断语义是否相关。常用的主题模型算法为PLSA(Probabilistic Latent Semantic Analysis,概率潜在语义分析)算法。
PLSA算法属于模糊聚类算法,其目的在于从文本中发现隐含的主题,具有处理一词多义和一义多词的能力。通过PLSA算法进行计算时,需要用到两个初始矩阵,第一个初始矩阵表示文档与主题之间的对应关系,第二个初始矩阵表示词汇与主题之间的对应关系。具体地,先要对这两个初始矩阵进行初始化,然后,在后续的计算过程中,不断地根据输入数据,一轮一轮地进行迭代,从而对这两个初始矩阵进行修正,直到计算结果收敛(即符合输入数据的真实概率分布)为止。
目前,在对上述的两个初始矩阵进行初始化时,通常假设每篇文档都以相同的概率属于各个主题,即:如果指定了共有T个主题,则每篇文档在每个主题下的概率均为1/T,因此,第一个初始矩阵中各个矩阵数据的初始值均为1/T。同理,假设每个词都会出现在每个主题中,并且出现的概率相同,即:如果共有W个词,则每个主题下,每个词的出现概率均为1/W,因此,第二个初始矩阵中各个矩阵数据的初始值均为1/W。采用上述初始化方式时,由于每个初始矩阵的各个数据所表示的概率都是相同的,而这往往与实际情况相去甚远,所以,在后续的迭代过程中往往需要迭代计算较多的轮数(通常情况下超过200轮),才能使计算结果收敛。所以计算耗时非常长,数据量大的情况下往往需要一整天的时间。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的基于PLSA算法判断文档相关性的方法及装置。
依据本发明的一个方面,提供了一种基于PLSA算法判断文档相关性的方法,包括:根据文档信息确定待处理的元素以及元素对应的分类;将元素的个数N确定为PLSA算法中所需的计算矩阵的列数,将分类的个数M确定为计算矩阵的行数,其中,计算矩阵中的矩阵数据表示元素与分类之间的对应关系,N和M均为自然数;通过硬聚类算法将N个待处理的元素汇聚为M个分类,得到每个元素在各个分类下的隶属度取值;根据每个元素在各个分类下的隶属度取值,对计算矩阵中的矩阵数据进行初始化,并根据PLSA算法对初始化之后的矩阵数据进行迭代运算,根据运算结果判断文档是否相关。
可选地,文档信息包括:文档标号以及文档所属的主题,则待处理的元素为文档标号,分类为文档所属的主题,则计算矩阵中的矩阵数据表示文档标号与主题之间的对应关系。
可选地,文档信息包括:文档所属的主题以及文档中的词汇,则待处理的元素为文档中的词汇,分类为文档所属的主题,计算矩阵中的矩阵数据表示词汇与主题之间的对应关系。
可选地,硬聚类算法为MinHash算法或SimHash算法。
可选地,每个元素在各个分类下的隶属度取值为0或1,则根据每个元素在各个分类下的隶属度取值,对计算矩阵中的矩阵数据进行初始化的步骤具体包括:当一个元素在指定分类下的隶属度取值为0时,将计算矩阵中相应的矩阵数据初始化为0;当一个元素在指定分类下的隶属度取值为1时,将计算矩阵中相应的矩阵数据初始化为1;进一步判断每一行的矩阵数据之和是否大于1,并在大于1时对该行数据进行归一化,使该行数据之和等于1。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇虎科技有限公司;奇智软件(北京)有限公司,未经北京奇虎科技有限公司;奇智软件(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310684227.8/2.html,转载请声明来源钻瓜专利网。