[发明专利]一种术语的筛选方法

摘要

一种术语的筛选方法，包括对原始语料以语素为单位进行任意长度的切分，获得若干候选术语，其中，每个所述候选术语由至少二个语素组成；对获得的所述候选术语从词频、互信息、左右熵、独立性和结构多个维度依次进行筛选；将经过多次筛选后，剩余的候选术语作为新的术语。本发明通过词频、互信息、左右熵、独立性和结构上对候选术语进行多次筛选，减少了人工处理的工作量，确保得到的术语可靠性和准确性较高。

主权项

一种术语的筛选方法，其特征在于，包括：对原始语料以语素为单位进行任意长度的切分，获得若干候选术语，其中，每个所述候选术语由至少二个语素组成；对获得的所述候选术语从词频、互信息、左右熵、独立性、结构和领域多个维度依次进行筛选；按照如下公式计算出候选术语中的每个语素x独立成词的概率IPW(x)：IPW(x)=word(x)times(x)]]>其中，word(x)为语素x在历史语料库中独立成词的次数，times(x)表示语素x在历史语料库中出现的总次数；按照如下公式计算出候选术语C独立成词的概率IPW(C)：IPW(C)＝IPW(c1c2···cl)＝IPW(c1)·IPW(c2)·····IPW(cl)其中，候选术语C的长度为l个语素单位，c1c2···cl对应为候选术语C中相应位置的语素；对候选术语中的每个语素出现的位置进行分析，根据内部词概率表获得候选术语不同位置的语素的出现概率；其中内部词概率表的获取方法为，在已有的术语语料库中，计算其中每个语素x出现在术语的头、中、尾的概率，从而得到一个包含所有语素的内部词概率表，公式如下：IPC(x,0)=times(x*)times(x*)+times(*x*)+times(*x)]]>IPC(x,1)=times(*x*)times(x*)+times(*x*)+times(*x)]]>IPC(x,2)=times(*x)times(x*)+times(*x*)+times(*x)]]>其中“*”表示和语素x组成术语的前后语素组合，times(X)表示术语X在术语语料库中的出现次数，IPC(x,pos)表示语素x出现在位置pos的概率，pos取值为{0,1,2}，0表示位置在词头、1表示位置在词中、2表示位置在词尾；对于待计算的l元字符串C＝c1c2···cl，根据上述所得的内部词概率表，其内部词概率IPC的计算方法为：IPC=IPC(c1,0)·IPC(cl,2)·11-2Σi=1l-1IPC(ci,1)3]]>其中，候选术语C的长度为l个语素单位，c1c2···cl分别对应为候选术语C中相应位置的语素；按照如下公式计算出候选术语的领域概率PC：PC=Πi=1lP(F_ci)l]]>其中，P(F_ci)为每个字符在已有的术语语料库中的出现概率；将经过多次筛选后，剩余的候选术语作为新的术语。