[发明专利]一种维吾尔文农业技术术语识别方法

权利要求书

1.一种维吾尔文农业技术术语识别方法，其特征在于，该方法包括：

S1，从维吾尔文语料中统计所述语料的词语的字串频率和C_value值，选择满足C_value值阈值的C_value值所对应的词语，并将所述满足C_value值阈值的C_value值所对应的词语作为锚点候选术语，统计所述锚点候选术语的统计特征；

所述统计特征包括：字串频率、C_value值、左右熵、互信息和倒文档频率；

S2，对所述语料中所有词语进行词性标注及词干和词尾的切分，获得语言特征；所述语言特征包括：词干及词尾特征和多词术语中的词性特征；

S3，应用有限状态自动机，对统计特征和语言特征进行整合，构造状态转移矩阵，实现在有限状态自动机控制下的农业技术术语自动识别。

2.根据权利要求1所述方法，其特征在于，步骤S1中，所述锚点候选术语的C_value值按照公式(1)计算：

其中，C_value(a)表示锚点候选术语的多词串的C_value值，a表示锚点候选术语的多词串，|a|表示多词串的长度，f(a)表示多词串在整个语料库中出现的频次，T_a表示以多词串a为子串的多词串集合，P(T_a)表示集合T_a中的元素个数。

3.根据权利要求1所述方法，其特征在于，步骤S1中，所述锚点候选术语的互信息按照公式(2)计算：

其中，x，y分别表示两个字串，MI(x，y)表示字串x与字串y的互信息，p(x)、p(y)表示字串x及字串y在语料中出现的概率；p(x,y)表示字串x,y作为一个整体在语料中同时出现的概率。

4.根据权利要求1所述方法，其特征在于，步骤S1中，所述锚点候选术语的左右熵按下述计算：

A1、基于逐层剪枝的大规模语料重复模式提取方法，从所述语料中统计确定长度候选字串频率、排序并将结果保存在文件F0中；

基于逐层剪枝的大规模语料重复模式提取方法，从所述语料中提取长度较F0中的字串多1的字串，然后依次进行统计频率、排序处理并将处理结果保存在文件F1中；

将文件F1中所有首字符去掉后，依次进行排序、归并统计频率处理并将处理结果保存在文件F2中；

将F1中所有尾字符去掉后，依次进行排序、归并统计频率处理并将处理结果保存在F3中；然后通过A2和A3分别进行文件F0中记载的字串的左熵和右熵的计算；

A2、读取文件F0的当前记录R，读取F2的当前记录R＇，按照下述方法计算文件F0中字串的左熵：

判断R与R＇是否相等，如果相等，则进入A21；如果不相等，则进入A22；

A21，计算R＇尾字符对当前记录R所贡献的熵，F2指针增1并读取当前记录R＇，重复执行步骤A21，直到F2到达文件尾部，完成文件F0中的所有字串的左熵的计算；

A22，当前记录R的左熵计算结束，F0指针增1，返回A2开始计算文件F0当前字串的左熵；

A23，重新打开文件F0，打开文件F3，开始进行F0中字串右熵的快速计算：

A3、读取文件F0的当前记录R，读取F3的当前记录R＇，按照下述方法计算文件F0中字串的右熵：

判断R与r＇是否相等，如果相等，则进入A31；如果不相等，则进入A32；

A31，计算r＇尾字符对当前记录R所贡献的熵，F3指针增1并读取当前记录r＇，重复执行步骤A31，直到F3到达文件尾部，完成文件F0中的所有字串的右熵的计算；

A32，当前记录R的右熵计算结束，F0指针增1，返回A3开始计算文件F0当前字串的右熵。

5.根据权利要求1所述方法，其特征在于，步骤S1中，所述阈值是预先设定的阈值或在识别过程中计算的动态阈值。