[发明专利]一种领域概念层次结构自动构建方法

说明书

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种领域概念层次结构自动构建方法。

背景技术

领域概念是人类在认知过程中对领域对象的抽象描述，是领域知识在文本中的一种表现形式，并随着领域的发展变化，形成独立的知识单元。领域概念层次结构自动构建技术的研究就是如何利用计算机从领域文本中自动地抽取领域概念和概念间关系，进一步根据关系将领域概念组织起来形成层次结构。领域概念层次结构在人工智能、自然语言处理和信息检索等应用领域有着重要的作用，实现领域概念层次结构的自动构建具有重要的意义。

现有的概念层次结构自动构建方法主要分为：概念抽取、概念间关系获取和层次结构自动构建。当前很多研究方法都是面向通用知识层次结构构建，较少针对特定领域。现有研究主要存在以下问题：(1)领域概念抽取困难，领域概念中包含了较多未登录词(新词或复合词)，增加了领域概念的抽取难度；(2)领域概念间关系抽取准确率低，现有知识库没有覆盖领域概念间的关系；(3)概念层次结构自动构建算法效率有限：现有方法较多基于聚类算法，这些方法只能反映出概念的层次类别，而不能很好地表示出概念间关系层次结构。

发明内容

本发明的目的是针对现有技术不足而提供的一种领域概念层次结构自动构建方法(Domain Concept Taxonomy Automatic Construct Algorithm，DoCTA)，该方法以领域文本作为研究对象，通过对领域概念特征的研究，解决领域概念间关系自动抽取和层次结构自动构建这两个技术难点。为用户提供了更好的可视化平台去了解领域结构，对实现领域在线问答有很好的帮助。

实现本发明目的的具体技术方案如下：

一种领域概念层次结构自动构建的方法，该方法包括以下具体步骤：

a、关系抽取

通过基于句法树和基于规则的方法获取领域概念间关系；

b、矩阵生成

进行领域概念词频统计，选取概念间关系与共现频次作为概念间的特征构建概念矩阵；

c、聚类融合

对矩阵设置不同的初始值，使用基于K-means的算法融合聚类；

d、层次构建

对聚类结果稳定的簇，使用BRT-Guass算法构建领域概念层次结构。

所述步骤a中基于句法树和基于规则的方法获取领域概念间关系，具体包括：

ⅰ、通过领域概念和领域文档得到领域语料；

ⅱ、根据制定的规则进行匹配，获取相应的概念关系,所述概念关系为并列关系、同义关系和实例关系；

iii、对领域语料进行依存分析得到依存结构；

ⅳ、对依存结构进行句法分析，获取上下位和整体部分关系；

ⅴ、将得到的每一个关系以一对概念和概念间的关系这种形式表示，组成关系词对集。

所述步骤b中选取概念间关系与共现频次作为概念间的特征构建概念矩阵，具体包括：

ⅰ、选取领域概念词集合{M}和规则提取的所有集合{N}，然后将{M}中每个词与{N}中的每个词进行组合，就有u*v个词对，构成一个u×v的矩阵，u为{M}中词的个数，v为{N}中词的个数，矩阵的取值为矩阵中每个概念词对的概念关系，表示该词对的关联程度；

ⅱ、对u*v个词对按照上下文的共现频率和词对间的概念关系，按照下式对value_ij进行赋值:

value_ij＝αfreq(keyword_i)P(term_j|keyword_i)+βR(term_j,keyword_i)(1)