[发明专利]一种领域术语抽取的方法

摘要

一种领域术语抽取的方法，包括：对原始语料以语素为单位进行任意长度的切分，获得若干候选术语，其中，每个所述候选术语由至少二个语素组成；从词频、互信息、左右熵、独立性和结构多个维度对每个所述候选术语进行分析，确定该候选术语的多个特征参数；利用确定的所述多个特征参数，计算出该候选术语的领域术语度；抽取所述领域术语度高于阈值的候选术语作为新的领域术语。本发明通过词频、互信息、左右熵、独立性和结构上对候选术语进行充分的分析，保证提取的术语可靠性和准确性较高。

主权项

一种领域术语抽取的方法，其特征在于，包括：对原始语料以语素为单位进行任意长度的切分，获得若干候选术语，其中，每个所述候选术语由至少二个语素组成；从词频、互信息、左右熵、独立性和结构多个维度对每个所述候选术语进行分析，确定该候选术语的多个特征参数；利用确定的所述多个特征参数，计算出该候选术语的领域术语度；抽取所述领域术语度高于阈值的候选术语作为新的领域术语；其中，按照如下公式计算出每个候选术语的领域术语度Termhood：Termhood＝K₁·P+K₂·MI+K₃·LRH+K₄·IPW+K₅·IPC+K₆·PC其中，P为候选术语在所述原始语料中的出现概率；MI为候选术语的两部分的互信息的最小值，其中候选术语被分割为任意长度的两部分；LRH为候选术语的左右熵；IPW为候选术语具有的每个语素在历史语料库中独立成词的概率；IPC为候选术语的每个语素在所述历史语料库中处于词头位置、词中位置和词尾位置的出现概率；PC为候选术语中的领域概率；K₁、K₂、K₃、K₄、K₅和K₆为通过给定样本利用最小二乘法计算出的领域术语度调节系数，所述领域术语度调节系数为多元线性回归系数；其中，按照如下公式计算候选术语C独立成词的概率IPW(C)：IPW(C)＝IPW(c₁c₂…c₁)＝IPW(c₁)·IPW(c₂)·…·IPW(c_l)；其中，c₁、c₂、…、c_l分别为候选术语C中相应位置的语素，IPW(c₁)、IPW(c₂)、…、IPW(c_l)为每个语素独立成词的概率；其中，按照如下公式计算候选术语中的每个语素x独立成词的概率IPW(x)：$IPW\left(x\right)=\frac{word\left(x\right)}{times\left(x\right)}$其中，word(x)为语素x在历史语料库中独立成词的次数，times(x)表示语素x在历史语料库中出现的总次数；其中，对于待计算的l元字符串C＝c₁c₂…c_l，根据内部词概率表，计算IPC的方法为：$IPC=\sqrt[3]{IPC(c_1,0)\·IPC(c_l,2)\·\frac{1}{l-2}{\Σ}_{i=2}^{l-1}IPC(c_i,1)}$其中，IPC(x,pos)表示语素x出现在位置pos的概率；pos取值为{0,1,2}，0表示位置在词头、1表示位置在词中、2表示位置在词尾；其中，计算语素x出现在术语的词头、词中、词尾的概率，从而得到包含所有语素的内部词概率表的方式如下：$IPC(x,0)=\frac{times(x*)}{times(x*)+times(*x*)+times(*x)}$$IPC(x,1)=\frac{times(*x*)}{times(x*)+times(*c_i*)+times(*x)}$

×

专利文献下载

说明：

1、专利原文基于中国国家知识产权局专利说明书；

2、支持发明专利 、实用新型专利、外观设计专利（升级中）；

3、专利数据每周两次同步更新，支持Adobe PDF格式；

4、内容包括专利技术的结构示意图、流程工艺图或技术构造图；

5、已全新升级为极速版,下载速度显著提升！欢迎使用！

请您登陆后，进行下载，点击【登陆】 【注册】

友情链接：交换友情链接需要网站权重大于4，网站收录10W以上，如符合条件，请联系QQ：。

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

周一至周五 9:00-18:00

版权所有http://www.vipzhuanli.com/公布日期

咨询在线客服

tel code back_top

服务热线：

投诉建议：

扫一扫，微信关注钻瓜专利网

定制专利/购买专利

行业大牛为您服务 快来咨询~