[发明专利]基于点互信息的文本语义相似性度量方法

摘要

本发明属文本主题聚类技术领域，具体涉及一种基于点互信息的文本语义相似性度量方法，本发明基于共现潜在语义向量空间模型，利用点互信息对关键词间的潜在语义相似关系进一步提取，使原本没有共现关系的两个关键词，通过构建关键词共现向量，进一步提取挖掘了关键词间的潜在语义相似关系，使语义提取更加充分，建立基于点互信息的文本语义相似性度量方法，该方法的应用将有效提高文本聚类、信息检索的精度，降低检索成本。

主权项

1.基于点互信息的文本语义相似性度量方法，其特征在于：包括以下步骤：步骤1：根据收集到的文献数据，提取文献所含关键词；步骤2：统计关键词词频，并以关键词词频为主要关键字进行降序排列；步骤3：由词频统计表生成文献‑关键词矩阵A＝(a_ij)_n×m，即篇词矩阵，用来表现文献和关键词之间的关系；矩阵的行向量表示文献，共有n篇，列向量表示关键词，共有m个，矩阵中元素a_ij的取值表示关键词j是否在第i篇文献中出现，出现值为1，否则为0，即篇词矩阵中的元素非0即1，为布尔权重；步骤4：由篇词矩阵生成关键词‑关键词矩阵D＝A^TA,即共现矩阵，用来表现两两关键词共同出现的情况；其中，当i≠j时，d_ij为第i个关键词与第j个关键词的共现频次，当i＝j时，d_ii为第i个关键词的总频次；步骤5：由点互信息的定义式和共现矩阵中关键词间的共现频次数据来度量任意两个关键词间的点互信息PMI；设有关键词x和y，则两关键词间的点互息PMI(x,y)为：式中P(x,y)表示关键词x和y共同出现的概率，p(x),p(y)分别表示关键词x和y单独出现的概率，n表示两关键词共同出现的频次，N表示所收集文献中关键词的总个数，X和Y分别表示关键词x和y单独出现的频次；步骤6：在计算出关键词间点互信息PMI(x,y)之后，构建一个与这两个关键词共同共现的关键词共现向量C；步骤7：利用关键词共现向量，计算两个关键词间的潜在语义相似度：其中向量C为上述构建的关键词共现向量，w为关键词共现向量中的元素，即与关键词x和y共同共现的关键词；步骤8：构建语义增强的CLSVSM：其中，新模型各维的权重值为：式中，a_it表示第i篇文献中第t个关键词的布尔权重，Rel_jt表示第j,t个关键词间的语义相似度；至此完成了点互信息的文本语义相似度处理。