[发明专利]一种维吾尔文农业技术术语识别方法

说明书

本发明公开了一种维吾尔文农业技术术语识别方法，涉及计算机应用技术领域。该方法：从维吾尔文语料中统计所述语料的词语的字串频率和C_value值，选择满足C_value值阈值的C_value值所对应的词语，并将所述词语作为锚点候选术语，统计所述锚点候选术语的统计特征；对所述语料中所有词语进行词性标注及词干和词尾的切分，获得语言特征；应用有限状态自动机，对统计特征和语言特征进行整合，构造状态转移矩阵，实现在有限状态自动机控制下的农业技术术语自动识别。本发明实现了维吾尔文农业领域技术术语识别的准确率提高了4个百分点，召回率提高了约3个百分点，并且填补了维吾尔文农业领域术语识别的空白。

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种维吾尔文农业技术术语识别方法。

背景技术

目前，未见关于维吾尔文农业领域术语自动识别方法，尽管，维吾尔文除农业外的其他领域术语的识别方法采用基于规则和基于统计的方法，或二者的结合，但是因为这种方法没有充分考虑维吾尔语作为黏着语具有丰富的语言形态变化而形成的语言知识特征，故，在识别过程中需要大量标注语料的支持，识别效果过分依赖于标注语料的规模和标注结果，导致领域术语自动识别的效果较差和识别效率较低，同时，又因为现有其他领域的维语术语识别方法中，基于语言知识的领域特征应用不足，术语提取领域针对性较差；又缺少整合用于术语自动识别的统计特征和语言知识特征的统一框架，各类特征随机使用，导致整体识别效果较差的问题，故，这种方法也不适用于维吾尔文农业领域术语自动识别中。

发明内容

本发明的目的在于提供一种维吾尔文农业技术术语识别方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明所述维吾尔文农业技术术语识别方法，该方法包括：

S1，从维吾尔文语料中统计所述语料的词语的字串频率和C_value值，选择满足C_value值阈值的C_value值所对应的词语，并将所述词语作为锚点候选术语，统计所述锚点候选术语的统计特征；

所述统计特征包括：字串频率、C-value值、左右熵、互信息和倒文档频率；

S2，对所述语料中所有词语进行词性标注及词干和词尾的切分，获得语言特征；所述语言特征包括：词干及词尾特征和多词术语中的词性特征；

S3，应用有限状态自动机，对统计特征和语言特征进行整合，构造状态转移矩阵，实现在有限状态自动机控制下的农业技术术语自动识别。

优选地，步骤S1中，所述锚点候选术语的C_value值按照公式(1)计算：

其中，C_value(a)表示锚点候选术语的多词串的C_value值，a表示锚点候选术语的多词串，|a|表示多词串的长度，f(a)表示多词串在整个语料库中出现的频次，T_a表示以多词串a为子串的多词串集合，P(T_a)表示集合T_a中的元素个数。

优选地，步骤S1中，所述锚点候选术语的互信息按照公式(2)计算：

其中，x，y分别表示两个字串，MI(x，y)表示字串x与字串y的互信息，P(x)、P(y)表示字串x及字串y在语料中出现的概率；p(x,y)表示字串x,y作为一个整体在语料中同时出现的概率。

优选地，步骤S1中，所述锚点候选术语的左右熵按下述计算：

A1、基于逐层剪枝的大规模语料重复模式提取方法，从所述语料中统计确定长度候选字串频率、排序并将结果保存在文件F0中；

基于逐层剪枝的大规模语料重复模式提取方法，从所述语料中提取长度较F0中的字串多1的字串，然后依次进行统计频率、排序处理并将处理结果保存在文件F1中；