[发明专利]基于向量空间模型的文本相似性匹配方法

权利要求书

1.一种基于向量空间模型的文本相似性匹配方法，包括：

提取文本的关键词，对所有关键词进行聚类，生成关键词概念树；

根据构建的待翻译文本中关键词的关键词概念树计算文本的相似性，按相似性的大小得到在翻译参考文献库中匹配的文本。

2.如权利要求1所述的基于向量空间模型的文本相似性匹配方法，其特征在于，所述生成关键词概念树的步骤包括：

提取待分类文档和参考库中的所有关键词，得到关键词集合；

对关键词集合中的关键词进行聚类，把相同概念的关键词聚合为一个概念类集合，根据所述概念类集合生成所述关键词概念树。

3.如权利要求2所述的基于向量空间模型的文本相似性匹配方法，其特征在于，若关键词k_i出现的概率p（k_i）>P1；且有，在出现k_i的该文本中也出现关键词k_j的条件概率p（k_j|k_i）>P2，则认为关键词k_j和k_i表达相同概念，P1和P2为设定概率阀值。

4.如权利要求3所述的基于向量空间模型的文本相似性匹配方法，其特征在于，生成所述关键词概念树的过程具体步骤包括：

提取待分类文档和参考库中的所有关键词，得到关键词集合C={k1，k2，…，kn}，计算C中每个关键词k在出现的概率，出现关键词k的文本数和文本总数之比记为p（k）；

根据设定阀值过滤关键词，取p_min<p（k）<p_max的关键词，将其作为待合并的集合项，设符合条件的关键词个数为m个，其中p_max和p_min为设定好的高低限阀值；

对过滤后得到的关键词按p（k）进行降序排序，并将每一个关键词作为一个集合，这样得到初始的m个待合并集合，记为{k₁}，{k₂}，…，{k_m}；

在这m个关键词中，计算在关键词k_i出现的文本中关键词k_j出现的概率，记为p（k_j|k_i），共计个条件概率，（1≤i，j≤m；i≠j）；p（k_j|k_i）=p（k_jk_i）/p（k_i），p（k_jk_i）为k_j和k_i同时出现在同一篇文本中的概率；

合并待合并集合，生成根节点为关键词集合C的关键词概念树。

5.如权利要求4所述的基于向量空间模型的文本相似性匹配方法，其特征在于，对于待合并的两个关键词集合C1和C2，合并条件为：存在k_i属于C1，k_j属于C2，且p（k_i）>P1，p（k_j|k_i）>P2，当p（k_i）和p（k_j|k_i）大于所述设定阀值时，关键词k_i和k_j表达相同概念，满足其所在的集合的合并条件之一；在合并后的集合中任给一个关键词k_i，其与集合中一半以上关键词都满足条件p（k_j|k_i）>P2；若两个集合满足以上两个条件，则概念具有很大相似性，属于可合并的集合，合并后生成上一层概念类集合。

6.如权利要求1所述的基于向量空间模型的文本相似性匹配方法，其特征在于，在翻译参考文献库中查找匹配的文本的过程包括：提取翻译参考文献库内所有文档的关键词，组成关键词集合；根据所述关键词概念树的结构，通过改进的文本相似度计算公式，计算待分类文本与参考库合中每个文本的相似性，按照相似度降序返回结果文本。

7.如权利要求6所述的基于向量空间模型的文本相似性匹配方法，其特征在于，在翻译参考文献库中查找匹配的文本的过程具体步骤包括：

定义H为生成的概念树的高度，定义depth（k）为节点k在树中的深度，即为从根节点到该节点所经历的边数；

定义com（k_i，k_j）为离节点k_i和k_j最近的共同父节点，任两个节点必有一个共同的父节点即根节点；

任两个关键词的积的计算公式：k_i×k_j=depth（com（k_i，k_j））/H；

设向量A={a₁，a₂，…，a_n}，B={b₁，b₂，…，b_n}，定义向量计算：A*B=Σi=1nΣj=1n(ai×bj);]]>

文本的相似度计算公式为：Sim(d1,d2)=d1*d2d1*d1d2*d2,]]>d1和d2表示文本向量。