[发明专利]一种基于统计和浅层语言分析的维吾尔文语义串抽取方法

摘要

本发明公开了一种基于统计和浅层语言分析的维吾尔文语义串抽取方法，属于少数民族语言语义串抽取技术领域。目的是提供一种基于统计和浅层语言分析的维吾尔文语义串快速抽取方法。采用一种多层动态索引结构为大规模文本建词索引，然后是结合维吾尔文词间关联规则采用一种改进的n元递增算法进行词串扩展并发现文本中的可信频繁模式，最终依次判断频繁模式串结构完整性从而得到语义串。通过在不同规模的语料上实验发现，此方法可行有效，能够应用到维吾尔文文本挖掘多个领域。本发明提出的语义串抽取方法不仅可以应用到维吾尔文文本挖掘中，还能应用到哈萨克文、柯尔克孜文等同语系语言文本挖掘中。

主权项

一种基于统计和浅层语言分析的维吾尔文语义串抽取方法，其特征在于，所述方法包括；步骤1 确定文本索引结构及定义模式规则：确定包括词典、一级索引、二级索引的三层索引结构；定义文本中的可信频繁模式；定义频繁模式发现中的语言规则；步骤2 频繁模式发现；大规模文本中维吾尔文频繁模式发现步骤具体包括：步骤2A 建索引；对于经过预处理的文本集，首先按单词在文本中出现的顺序建立词典，然后对于生成的单词ID序列建词索引；步骤2B 串扩展及频繁模式发现；让所有单词ID进入一个队列中，然后根据每个单词的索引信息从每个单词扩展得到其二词或三词串，让该单词出队并将新产生的扩展串入队，继续从n词串扩展到n+1词或n+2词串，反复迭代，直到队列为空；步骤3 串完整性评价及语义串抽取；根据上下文邻接特征来判断每一个语义串候选的结构完整性，用公式一为每一个候选语义串赋权重：AEweight(S)＝min(LAE(S)，RAE(S))    公式一其中，AEweight(S)是串S的邻接熵权重，LAE(S)是串S的左邻接熵，RAE(S)是串S的右邻接熵，左邻接熵、右邻接熵按公式二计算：其中，m是串S的左邻接种类数，ni是串S的第i个左邻接的频次，所有左邻接频次总和为N，计算邻接特征量所需要的全部信息在它们被发现时记录好并存入索引中，依次输出邻接特征量达到阈值的频繁模式，即为最终抽取到的语义串。