[发明专利]一种基于最短路径的词语相关性判定方法

摘要

本发明涉及一种基于最短路径的词语相关性判定方法，属于汉语信息处理技术领域。首先建立词语数据库，并对词语数据库中的词语数据进行清洗，包括去标点符号、去停用词、分词等操作，得到词语所对应的词条；然后由用户输入两个词语，通过查找数据库得到对应的词条，对词条进行递归计算，得到两个词语之间最短距离；最后通过匹配定义输出两个词语之间的相关性。本发明与现有技术相比，主要解决了现有技术在对词语相关性的判定方面准确性不足、效率低、灵活性差等现象，增加了目前依靠计算机对词语相关性判定的准确性和灵活性。

主权项

1.一种基于最短路径的词语相关性判定方法，其特征在于：Step1：建立词语数据库获取词典中所有词语X_i,i∈[1,N]及对应的词性X_i′,i∈[1,N]、释义并建立词语数据库Step2：词语数据清洗；对词语数据库中的释义进行去标点符号、去停用词、去分词处理，得到词语X_i,i∈[1,N]所对应的词条并将词条存入词语数据库具体如Step2.1～Step2.4所示；Step2.1：去标点符号操作；利用标点符号库对词语数据库中的释义进行去标点符号操作，包括中文标点符号、英文标点符号及特殊符号，生成去标点符号后的释义Step2.2：去停用词操作；利用停用词库对去标点符号后的释义进行去停用词操作，生成去停用词后的释义Step2.3：分词操作；利用分词算法对去停用词后的释义进行分词操作，生成词条词条包含一系列词语Step2.4：存储操作；将词语X_i,i∈[1,N]所对应的词条存入词语数据库Step3：输入词语T、H，从词语数据库中获取词语T的词条Step4：对词语T的词条进行解析、递归，得到词语T至H的最短距离L(T→H)，具体如Step4.1～Step4.2所示；Step4.1：定义递归函数，即词语X通过词语数据库获取对应的词条若词条中包含词语H，即满足则退出；否则使其一直循环递归，并使距离L(T→H)自增；若距离L(T→H)＞P₃则直接退出；Step4.2：初始化词语T至H的距离L(T→H)＝0，对词语T的词条中词语进行Step4.1所述递归计算，得到一系列词语T至H的距离L_j(T→H),j∈[1,M]，根据公式(1)从中选择出最小的距离作为词语T至H的最短距离L(T→H)；L(T→H)＝Min(Lj(T→H)),j∈[1,M](1)Step5：根据公式(2)所示匹配定义，得到词语T、H之间的相关性；其中，P1、P2、P3代表区分阈值。