[发明专利]基于约束条件随机场的越南语名词组块识别方法

权利要求书

1.基于约束条件随机场的越南语名词组块识别方法，其特征在于：所述方法的具体步骤如下：

Step1、构建名词组块语料库：首先从越南语网站爬取文本语料，经过分词、词性标注、人工标记名词短语，然后再经过人工校对、标记、去重形成越南语名词组块语料库；越南语名词组块语料库中部分语料用于构建约束条件、作为训练语料及测试语料；

Step2、构建约束条件：从越南语名词组块语料库中，根据越南语语法特点挑选名词组块的词性特点，结合特点构造约束条件；

Step3、构建基于约束条件随机场的越南语名词组块识别模型：首先用条件随机场通过训练语料进行训练，得到标记序列模型，在观察序列进行解码时加入约束条件，得到越南语名词组块识别模型参数序列，从而建立基于约束条件随机场的越南语名词组块识别模型；

Step4、把待识别的越南语名词组块测试语料，放入基于约束条件随机场的越南语名词组块识别模型中，根据名词组块识别模型参数序列来对越南语名词组块进行识别，得到最终识别结果。

2.根据权利要求1所述的基于约束条件随机场的越南语名词组块识别方法，其特征在于：

所述步骤Step1中，获得越南语名词组块的具体步骤为：

Step1.1、使用分词工具对越南语分词句子级语料进行分词，得到分词语料；

Step1.2、使用词性标注工具对Step1.1中获得的分词语料进行标注，得到含有词性标注语料；

Step1.3、使用组块标记工具对Step1.2中获得的词性标注语料进行组块标记，结合从VLSP网站搜集的一部分组块语料，通过越南专家，人工从语料中挑选出名词组块，构建出越南语名词组块语料库。

3.根据权利要求2所述的基于约束条件随机场的越南语名词组块识别方法，其特征在于：所述步骤Step1.1中，获取越南语分词句子级语料的具体步骤为：

Step1.1.1、构建爬虫程序，爬取出网页信息；

Step1.1.2、对网页信息数据进行预处理，包括：去重处理，去除垃圾广告，构建出越南语文本语料库；

Step1.1.3、根据越南语分词工具进行越南语文本语料库的语料分词，并进行人工校对，形成越南语分词句子级语料。

4.根据权利要求1所述的基于约束条件随机场的越南语名词组块识别方法，其特征在于：所述步骤Step2中，从越南语名词组块语料库中，根据越南语语法特点挑选名词组块的词性特点，结合特点构造约束条件，具体步骤为；

Step2.1、通过收集、筛选Step1中获得的越南语名词组块语料，导入到数据库中保存；

Step2.2、在数据库中保存到语料，通过去重、去杂操作，得到单一的越南语名词组块，即在查找数据表中每个组块只出现一次，在出现的名词组块列表中，经过人工统计分析，得到最常出现的9种名词组块组合形式；

Step2.3、然后根据统计分析的9种名词组块形式，制定出9种约束条件：

名词+名词、名词+连词+名词、形容词+副词+形容词、形容词+名词、名词+动词、名词+代词、副词+连词+形容词、数词+名词、代词+连词+代词。

5.根据权利要求1所述的基于约束条件随机场的越南语名词组块识别方法，其特征在于：所述步骤Step1中，越南语名词组块语料库中全部语料按照4:1的比例分别得到训练语料、测试语料。

6.根据权利要求1所述的基于约束条件随机场的越南语名词组块识别方法，其特征在于：所述步骤Step3中，在用条件随机场训练过程中，在观察序列进行解码时加入约束的Viterbi算法，即该序列经过Viterbi算法计算之后，最终得到一条全局最优状态序列。