[发明专利]一种领域概念层次结构自动构建方法

摘要

本发明公开了一种领域概念层次结构自动构建的方法，该方法包括首先抽取领域概念间关系；然后根据概念的共现频次和关系构建关系矩阵；再使用融合聚类算法对领域概念聚类，得到稳定的概念簇；最后使用BRT‑Guass算法对簇进行融合，得到领域概念层次结构。本发明降低了层次结构构建的时间复杂度，能获取较全面的领域概念词对集，且具有较为理想的准确率及召回率。

主权项

一种领域概念层次结构自动构建的方法，其特征在于该方法包括以下具体步骤：a、关系抽取通过基于句法树和基于规则的方法获取领域概念间关系；b、矩阵生成进行领域概念词频统计，选取概念间关系与共现频次作为概念间的特征构建概念矩阵；c、聚类融合对矩阵设置不同的初始值，使用基于K‑means的算法融合聚类；d、层次构建对聚类结果稳定的簇，使用BRT‑Guass算法构建领域概念层次结构；所述步骤b中选取概念间关系与共现频次作为概念间的特征构建概念矩阵，具体包括：ⅰ、选取领域概念词集合{M}和规则提取的所有关键词集合{N}，然后将{M}中每个词与{N}中的每个词进行组合，就有u*v个词对，构成一个u×v的矩阵，u为{M}中词的个数，v为{N}中词的个数，矩阵的取值为矩阵中每个概念词对的概念关系，表示该词对的关联程度；ⅱ、对u*v个词对按照上下文的共现频率和词对间的概念关系，按照下式对valueij进行赋值：valueij＝αfreq(keywordi)P(termj|keywordi)+βR(termj,keywordi)   (1)P(term|keyword)=n(term,keyword)n(term)---(2)]]>其中n(term,keyword)表示领域概念和关键词在领域文本的某句话里共同出现的次数，其中term表示领域概念，keyword表示关键词，n(term)表示领域概念在领域文本中出现的次数；R(termj,keywordi)表示领域概念的关系；freq(keywordi)表示关键词在领域文本中出现的次数；P(termj|keywordi)表示在关键词出现的情况下领域概念出现的概率；α和β是衡量关键词在领域文本的控制参数，且α+β＝1；如果keyword与term没有在同一句话出现过，将对应的value值设为1；iii、对矩阵中的valueij进行优化，即如果{N}中存在同义词，那么{M}中的每个词相对{N}中同义的两个词的值相等；所述步骤d中使用BRT‑Guass算法，具体包括：先验概率采用了高斯分布，多项式的似然估计如公式如下：f(X|θ)=m!Πinxi!Πinp(xi|θ)=m!Πinxi!Πi=1n[θi]xi---(3)]]>层次构建的边缘概率公式如下：f(D)=Πi=0d∫f(Di|θi)f(θi|μi,δi)dθ---(4)]]>f(D)=Πinm!Πjtxij!∫Πjtp(xij|θi)f(θi|μi,δi)dθ---(5)]]>其中n表示领域概念个数，t表示文本选取的关键词的个数，xij是关键词i在领域概念j下的特征值，xi表示关键词的频次；其中μ是均值，δ为方差，是由最大似然估计方法求出；对三种融合方式：连接，吸收和归并，采用比率评分Score(D|T)来决策选择哪种融合方式，其公式如下：p(D|T)=πTf(D)+(1-πT)ΠTi∈ch(T)p(leaves(Ti)|Ti)---(6)]]>πT=1-(1-r)nT-1---(7)]]>Score(D|T)=p(Dm|Tm)p(Di|Ti)p(Dj|Tj)---(8)]]>其中D＝leaves(T)表示所有数据点，T表示层次结构，πT表示T的叶子节点保存在一个分区内且不被分离的概率；所述步骤d中构建领域概念层次结构，具体包括：以簇为单位对概念进行融合；选择概念簇A与概念簇B，分别在公式(3)、(4)、(5)的基础上计算A和B连接，吸收和归并三种融合方式下得到的概念层次的概率，然后选择概率最大的作为A和B融合的结果，融合结果就是层次结构。