[发明专利]一种基于短语结构句法树的英文词义消歧方法

摘要

本发明涉及到一种基于短语结构句法树的英文词义消歧方法，属于自然语言处理领域。其步骤为：1.通过对句子进行短语结构句法分析，生成其短语结构句法树；2.以短语结构句法树为依据，筛选词义相关词；3.构建词义消歧模型，通过评估歧义词的词义与词义相关词的密切程度而判定正确词义；4.由词义标注语料库，利用遗传算法，对步骤3中的词义消歧模型的参数进行优化；5.对于待消歧词，重复步骤1和2，利用步骤4所获得的优化词义消歧模型，判定歧义词的正确词义。本发明提出的基于短语结构句法树的英文词义消歧方法，利用短语结构句法树筛选词义相关词并为其赋予消歧权重，能够减少噪声词的干扰，改善词义相关度的计算精度，提高英文词义消歧的正确率。

主权项

一种基于短语结构句法树的英文词义消歧方法，其特征在于：其具体操作步骤为：步骤一、通过对句子进行短语结构句法分析，生成其短语结构句法树；具体为：步骤1.1：用符号S表示待处理的句子；步骤1.2：对句子S进行预处理，主要包括去除乱码字符、特殊符号、英文断词（Tokenization）等，获得预处理后的句子S’；步骤1.3：使用短语结构句法分析器，对句子S’进行短语结构句法分析，生成短语结构句法树T；步骤1.4：对短语结构句法树T中的词语进行词形还原；步骤二、以短语结构句法树为依据，计算歧义词与句子中其它词语的层次距离和路径距离，筛选出词义相关词；具体为：步骤2.1：用符号w_t表示待消歧的歧义词，用符号w表示句子中的其它词语，用符号W表示句子中除歧义词w_t之外的全部实词的集合；步骤2.2：由短语结构句法树T，统计歧义词w_t与其它词语w的层次距离d_l，将d_l记入w，并保存到W中；步骤2.3：由短语结构句法树T，统计歧义词w_t与其它词语w的路径距离d_p，将d_p记入w，并保存到W中；步骤2.4：指定层次距离参数d_layer和路径距离参数d_path，从W中筛选d_l不大于d_layer并且d_p不大于d_path的词语，构建歧义词的词义相关词集合R；步骤三、构建词义消歧模型，通过评估歧义词的各个词义与词义相关词的密切程度而判定正确词义；具体为：步骤3.1：对于词义相关词集合R中的每个词语w，根据其层次距离d_l和路径距离d_p，由公式(1)计算其消歧权重；(1)其中，α和β为层次距离d_l和路径距离d_p的调节参数；步骤3.2：对于歧义词w_t的每个词义s_i，由公式(2)计算其与词义相关词集R的密切程度；(2)其中，s_i表示歧义词w_t的第i个词义，sense(w_t)表示歧义词w_t的全部词义的集合，s_i∈sense(w_t)，w_j表示第j个词义相关词，R表示歧义词w_t的全部词义相关词的集合，w_j∈R，weight(w_j)表示由公式(1)计算而得的w_j的消歧权重，wnss(s_i,w_j)表示词义s_i与词义相关词w_j的词义相关度；步骤3.3：根据由步骤3.2所得的各个词义s_i与词义相关词集R的密切程度，选择密切程度最高的词义作为歧义词的正确词义；步骤四、由词义标注语料库，利用遗传算法，对步骤三中的词义消歧模型的参数进行优化，获得优化的词义消歧模型；具体为：步骤4.1：选择适当的词义标注语料库Corpus；步骤4.2：收集语料库Corpus中的每个歧义词、所在的句子及正确词义标注，构建词义消歧模型训练数据集C_train；步骤4.3：将步骤2.4和3.1中的层次距离参数d_layer、路径距离参数d_path及其调节参数α、β作为遗传算法的输入向量，将公式(3)作为遗传算法的目标函数，在C_train上进行优化训练，获得最优的d_layer、d_path、α、β参数；(3)其中，precision为消歧正确率，其值为正确消歧的歧义词的数量与歧义词总数的比值；步骤4.4：将步骤4.3所获得的d_layer、d_path代入步骤2.4，将α、β代入公式(1)，完成词义消歧模型的参数优化；步骤五、对于待消歧词，重复步骤一和二，利用步骤四所获得的优化的词义消歧模型，判定歧义词的正确词义；具体为：步骤5.1：根据步骤一，生成待消歧词w_t所在句子的短语结构句法树T；步骤5.2：根据步骤二，获得待消歧词w_t与句子中其它词语的层次距离和路径距离，根据步骤四所获得的d_layer、d_path参数，筛选词义相关词，构建词义相关词集合R；步骤5.3：根据步骤四所获得的α、β参数，由步骤3.1，计算词义相关词集合R中的每个词义相关词的消歧权重；步骤5.4：由步骤3.2，确定歧义词w_t的每个词义s_i与词义相关词集R的密切程度；步骤5.5：由步骤3.3，确定歧义词w_t的正确词义；经过以上步骤的操作，即可判定英文歧义语的词义，完成词义消歧任务。