[发明专利]一种融合了越南语语言特点的PCFG模型的越南语短语树库构建方法

摘要

本发明涉及一种融合了越南语语言特点的PCFG模型的越南语短语树库构建方法，属自然语言处理技术领域。本发明首先获取融合了越南语语言特点的PCFG模型中的语法规则概率；再制定越南语语言特征概率；将越南语语言特征概率作为语法规则概率的补充和语法规则概率一起融入到PCFG模型中，得到融合了越南语语言特点的PCFG模型；再进行初级越南语短语树库的构建；再利用短语树库校正器对新生成的越南语短语树库进行校正，最后得到最终的越南语短语树库。本发明避免了人工收集和标注越南语短语树库的过程，节省了人力和构建树库的时间；相比采用传统PCFG构建越南语短语树库和最大熵构建越南语短语树库方法准确率明显提高。

主权项

1.一种融合了越南语语言特点的概率上下文无关文法PCFG模型的越南语短语树库构建方法，其特征在于：所述融合了越南语语言特点的概率上下文无关文法PCFG模型的越南语短语树库构建方法的具体步骤如下：Step1、首先构建越南语短语树语料，并利用得到的语料获取融合了越南语语言特点的PCFG模型中的语法规则概率；Step2、分析越南语的语言特征，针对越南语状语后置和定语后置的特点，制定越南语语言特征概率；Step3、将越南语语言特征概率作为融合了越南语语言特点的PCFG模型中的语法规则概率的补充，语法规则概率一起融入到PCFG模型中，得到融合了越南语语言特点的PCFG模型；Step4、将爬取的越南语网页经过规则提取、去重、机器标注、人工校对形成越南语文本语料库，作为构建初级越南语短语树库的测试语料；Step5、把测试语料加载到融合了越南语语言特点的PCFG模型中进行初级越南语短语树库的构建；Step6、再利用短语树库校正器对新生成的越南语短语树库进行校正，最后得到最终的越南语短语树库；所述步骤Step1中，获取融合了越南语语言特点的PCFG模型中的语法规则概率的具体步骤如下：Step1.1、从越南语语言及语言处理项目组VLSP的组块语料中获取分词以后的越南语句子；Step1.2、把得到的分词之后的越南语句子放在越南语语言及语言处理项目组VLSP网站中分析，得到对应的越南语短语树；Step1.3、对得到的越南语短语树进行人工校对，得到越南语短语树语料；Step1.4、将得到的越南语短语树语料利用Inside‑Outside算法，获取融合了越南语语言特点的PCFG模型中的语法规则概率；所述步骤Step4的具体步骤如下：Step4.1、对爬取的越南语语料进行预处理，去除html标签、去除格式标签、字符编码；Step4.2、从预处理得到的语料中提取出正文和标题；Step4.3、对Step4.2中得到的语料进行去重、机器标注处理，最后进行人工校对，形成越南语文本语料库，作为构建越南语短语树库的测试语料。