[发明专利]一种领域术语抽取的方法

权利要求书

1.一种领域术语抽取的方法，其特征在于，包括：

对原始语料以语素为单位进行任意长度的切分，获得若干候选术语，其中，每个所述候选术语由至少二个语素组成；

从词频、互信息、左右熵、独立性和结构多个维度对每个所述候选术语进行分析，确定该候选术语的多个特征参数；

利用确定的所述多个特征参数，计算出该候选术语的领域术语度；

抽取所述领域术语度高于阈值的候选术语作为新的领域术语；

其中，按照如下公式计算出每个候选术语的领域术语度Termhood：

Termhood＝K₁·P+K₂·MI+K₃·LRH+K₄·IPW+K₅·IPC+K₆·PC

其中，P为候选术语在所述原始语料中的出现概率；MI为候选术语的两部分的互信息的最小值，其中候选术语被分割为任意长度的两部分；LRH为候选术语的左右熵；IPW为候选术语具有的每个语素在历史语料库中独立成词的概率；IPC为候选术语的每个语素在所述历史语料库中处于词头位置、词中位置和词尾位置的出现概率；PC为候选术语中的领域概率；K₁、K₂、K₃、K₄、K₅和K₆为通过给定样本利用最小二乘法计算出的领域术语度调节系数，所述领域术语度调节系数为多元线性回归系数；

其中，按照如下公式计算候选术语C独立成词的概率IPW(C)：

IPW(C)＝IPW(c₁c₂…c₁)＝IPW(c₁)·IPW(c₂)·…·IPW(c_l)；

其中，c₁、c₂、…、c_l分别为候选术语C中相应位置的语素，IPW(c₁)、IPW(c₂)、…、IPW(c_l)为每个语素独立成词的概率；

其中，按照如下公式计算候选术语中的每个语素x独立成词的概率IPW(x)：

I P W ( x ) = w o r d ( x ) t i m e s ( x ) ]]>

其中，word(x)为语素x在历史语料库中独立成词的次数，times(x)表示语素x在历史语料库中出现的总次数；

其中，对于待计算的l元字符串C＝c₁c₂…c_l，根据内部词概率表，计算IPC的方法为：

I P C = I P C ( c 1 , 0 ) · I P C ( c l , 2 ) · 1 l - 2 Σ i = 2 l - 1 I P C ( c i , 1 ) 3 ]]>

其中，IPC(x,pos)表示语素x出现在位置pos的概率；pos取值为{0,1,2}，0表示位置在词头、1表示位置在词中、2表示位置在词尾；

其中，计算语素x出现在术语的词头、词中、词尾的概率，从而得到包含所有语素的内部词概率表的方式如下：

I P C ( x , 0 ) = t i m e s ( x * ) t i m e s ( x * ) + t i m e s ( * x * ) + t i m e s ( * x ) ]]>

I P C ( x , 1 ) = t i m e s ( * x * ) t i m e s ( x * ) + t i m e s ( * c i * ) + t i m e s ( * x ) ]]>

I P C ( x , 2 ) = t i m e s ( * x ) t i m e s ( x * ) + t i m e s ( * x * ) + t i m e s ( * x ) ]]>

其中，“*”表示和语素x组成术语的前后语素组合，times(x)表示术语x在术语语料库中的出现次数；

其中，照如下公式计算候选术语的领域概率PC：

P C = Π i = 1 n P ( F _ c i ) n ]]>

其中，P(F_c_i)为候选术语的每个语素或语素组合在历史语料库中的出现概率，n为候选术语的语素个数或语素组合的个数。