[发明专利]一种基于统计和浅层语言分析的维吾尔文语义串抽取方法

权利要求书

1.一种基于统计和浅层语言分析的维吾尔文语义串抽取方法，其特征在于，所述方法包括；

步骤1确定文本索引结构及定义模式规则：

确定包括词典、一级索引、二级索引的三层索引结构；定义文本中的可信频繁模式；定义频繁模式发现中的语言规则；

步骤2频繁模式发现；

大规模文本中维吾尔文频繁模式发现步骤具体包括：

步骤2A建索引；

对于经过预处理的文本集，首先按单词在文本中出现的顺序建立词典，然后对于生成的单词ID序列建词索引；

步骤2B串扩展及频繁模式发现；

让所有单词ID进入一个队列中，然后根据每个单词的索引信息从每个单词扩展得到其二词或三词串，让该单词出队并将新产生的扩展串入队，继续从n词串扩展到n+1词或n+2词串，反复迭代，直到队列为空；

步骤3串完整性评价及语义串抽取；

根据上下文邻接特征来判断每一个语义串候选的结构完整性，用公式(一)为每一个候选语义串赋权重：

AE_weight(S)＝min(LAE(S)，RAE(S))

(一)

其中，AE_weight(S)是串S的邻接熵权重，LAE(S)是串S的左邻接熵，RAE(S)是串S的右邻接熵，左邻接熵、右邻接熵按公式(二)计算：

其中，m是串S的左邻接种类数，n_i是串S的第i个左邻接的频次，所有左邻接频次总和为N，计算邻接特征量所需要的全部信息在它们被发现时记录好并存入索引中，依次输出邻接特征量达到阈值的频繁模式，即为最终抽取到的语义串；

所述步骤1中的可信频繁模式具体为：

设S＝w₁w₂…w_n是一个长度为n的维吾尔文单词串，以空格隔开的n个单词序列，T＝S₁#S₂#…S_m#是由m个单词串构成的文本语料，#标志文本中的各种标点符号；

定义1：对于单词串S＝w₁w₂…w_n，如果文本语料中至少存在两个位置pos₁和pos₂，并使得

则S称为语料T中的一个模式，也称为重复串；

定义2：根据事先设定的各个参数阈值，如果Support(S)＞minsup，minsup为最小支持度或Frequency(S)＞minFreq，minFreq为最小出现频次，则称S为语料T中的频繁模式，如Confidence(S)＞minconf，minconf为最小置信度，则可确定S为可信频繁模式；

设w_i-1w_i是语料T中维吾尔文词对，w_i-1是上文，w_i是下文，观察候选频繁模式S＝(w_i-1w_i)是否为可信频繁模式时，将Frequency(S)＞2，minFreq＝2的模式都选为频繁模式，再评价w_i-1→w_i的置信度Confidence(w_i-1→w_i)来选取可信频繁模式；

置信度Confidence(w_i-1→w_i)是指上文w_i-1出现的情况下，其下文出现w_i的后验概率，是对单词关联w_i-1→w_i的准确度的衡量，当Confidence(w_i-1→w_i)＞minconf时，可确定S＝(w_i-1w_i)是一个可信频繁模式，按公式(三)计算：

定义3：逆置信度是指单词关联w_i-1→w_i的下文w_i出现的情况下，其上文是w_i-1的条件概率，按公式(四)计算：

定义4：对于语料T中的一个频繁模式S，如Confidence(S)＞minconf或R-Confidence(S)＞minconf，则可确定S为可信频繁模式。