[发明专利]一种基于最短路径的词语相关性判定方法

说明书

本发明涉及一种基于最短路径的词语相关性判定方法，属于汉语信息处理技术领域。首先建立词语数据库，并对词语数据库中的词语数据进行清洗，包括去标点符号、去停用词、分词等操作，得到词语所对应的词条；然后由用户输入两个词语，通过查找数据库得到对应的词条，对词条进行递归计算，得到两个词语之间最短距离；最后通过匹配定义输出两个词语之间的相关性。本发明与现有技术相比，主要解决了现有技术在对词语相关性的判定方面准确性不足、效率低、灵活性差等现象，增加了目前依靠计算机对词语相关性判定的准确性和灵活性。

技术领域

本发明涉及一种基于最短路径的词语相关性判定方法，属于汉语信息处理技术领域。

背景技术

词语相关性的判定广泛应用于汉语信息处理中，比如在传统的信息检索技术中，人们都是基于关键词的匹配去进行检索，但是这样的检索不能在效率上满足人们检索的要求。通过对词语间相关性的判定，用户可以“智能”地检索获得所需要的最佳信息。

目前，对词语相关性的判定通常使用PMI(点间互信息)算法，但是该算法只是统计共现和单现次数，利用信息度量进行判定，在准确性上较为欠缺，并且前期需要大量的文档作为训练数据。

发明内容

本发明要解决的技术问题是针对现有技术的局限和不足，提供一种基于最短路径的词语相关性判定方法，以解决现有技术在对词语相关性的判定方面准确性不足、效率低、灵活性差等现象，致力于增加目前依靠计算机对词语相关性判定的准确性和灵活性。

本发明的技术方案是：一种基于最短路径的词语相关性判定方法，具体步骤为：

Step1：建立词语数据库根据《汉语大辞典》、《新华词典》等权威词典，获取其中所有词语X_i,i∈[1,N]及对应的词性X_i′,i∈[1,N]、释义i∈[1,N]，并建立词语数据库

Step2：词语数据清洗；对词语数据库中的释义i∈[1,N]进行去标点符号、去停用词、分词等处理，得到词语X_i,i∈[1,N]所对应的词条i∈[1,N]，并将词条i∈[1,N]存入词语数据库具体如Step2.1～Step2.4所示；

Step2.1：去标点符号操作；利用标点符号库对词语数据库中的释义i∈[1,N]进行去标点符号操作，包括中文标点符号、英文标点符号及特殊符号，生成去标点符号后的释义i∈[1,N]；

Step2.2：去停用词操作；利用停用词库对去标点符号后的释义i∈[1,N]进行去停用词操作，生成去停用词后的释义i∈[1,N]；

Step2.3：分词操作；利用分词算法对去停用词后的释义i∈[1,N]进行分词操作，生成词条i∈[1,N]，词条i∈[1,N]包含一系列词语i∈[1,N],j∈[1,M]；

Step2.4：存储操作；将词语X_i,i∈[1,N]所对应的词条i∈[1,N]存入词语数据库

Step3：输入词语T、H，从词语数据库中获取词语T的词条

Step4：对词语T的词条进行解析、递归，得到词语T至H的最短距离L(T→H)，具体如Step4.1～Step4.2所示；

Step4.1：定义递归函数，即词语X通过词语数据库获取对应的词条若词条中包含词语H，即满足则退出；否则使其一直循环递归，并使距离L(T→H)自增；若距离L(T→H)＞P₃则直接退出；

Step4.2：初始化词语T至H的距离L(T→H)＝0，对词语T的词条中词语j∈[1,M]进行Step4.1所述递归计算，得到一系列词语T至H的距离L_j(T→H),j∈[1,M]，根据公式(1)从中选择出最小的距离作为词语T至H的最短距离L(T→H)；