[发明专利]一种量化确定专业领域词汇集最优维度的方法

说明书

本发明公开了一种量化确定专业领域词汇集量优维度的方法。该方法包括：选择少量专业领域种子词汇，以定制接口搜索互联网搜索引擎和专业文献索引网站获取样本文档，利用专家标注的样本文档，生成正、负文档相关的词汇集合；计算词汇的聚合重要性，以其建立正、负词汇特征集合的权序关系；递增特征维度，按序选择该维度数目的正、负词汇，生成合并特征集合；基于合并特征集合计算正、负词汇特征集合之间的距离、相似度和区分指数；以区分指数的变化率确定区分维度，按序从正词汇特征集中选择该维度数目的词汇，生成最优数目的专业领域词汇特征集；以新选择的专业领域词汇作为种子词，重复上述过程进行迭代自举，直至不再获得新的专业领域词汇。

技术领域

本发明属于计算机技术领域，涉及专业领域词汇的构建方法，具体涉及一种量化确定专业领域词汇集最优维度，进而得到专业领域词汇集的方法。

背景技术

专业领域词表是领域信息处理的基础必备条件，领域词表的缺乏会显著影响领域信息的搜索和分类性能。目前多数词汇选择方法是基于文档频率、术语频率等统计特征来选择，其固有缺点是不利于低频词；或通过在文档中选择那些与预设的种子词共同出现的或满足某些关联规则的词汇；其固有缺点是需要人工专家事先设计大量的规则；或基于概率统计方法选择词汇，但专业领域的文档数量较通用文档极少，难以满足概率统计的方法需要用到的大量的领域信息。

专业领域词汇的选择一般很难选出全部的词汇，而词汇集合的维度太大则不利用于计算机的处理。因此专业领域词汇选择方法所遵循的原则可以描述为：足够代表性、足够区分度、足够简单性。综观目前已有的各种方法，多集中在代表性、区分度、简单性方面对典型的算法进行改进，对于什么是“足够”则一般依赖人工经验在算法中设定阈值来衡量。然而一些专业词汇可能与其它专业领域交叉使用，也可能明显属于通用词汇，人工判定易引入较多的主观因素，也不易确定一个适用的维度大小。

发明内容

本发明提供一种自动量化确定专业领域词汇集合最优维度，进而得到专业领域词汇集的方法，以解决现有专业领域词汇表构建过程需要大量人工经验的问题，将词汇特征维度的选取由经验判断改为定量分析，有效平衡了词汇空间的足够区分度和计算性能。

本发明的量化确定专业领域词汇集合最优维度的方法，具体包括以下步骤：

1)选择少量专业领域种子词汇，以定制接口搜索互联网搜索引擎和专业文献索引网站获取样本文档，利用专家标注的样本文档，生成正、负文档相关的词汇集合；

2)计算词汇的聚合重要性，以其建立正、负词汇特征集合的权序关系，生成有序的正、负词汇特征集合；

3)递增特征维度，按序选择该维度数目的正、负词汇，生成合并特征集合；

4)基于合并特征集合计算正、负词汇特征集合之间的距离和相似度，并进一步计算得到区分指数；

5)以区分指数的变化率确定最优的专业词汇集合特征维度，按序从正词汇特征集中选择该维度数目的词汇，生成最优数目的专业领域词汇特征集。

进一步地，以新选择的专业领域词汇作为种子词，重复上述过程进行迭代自举，直至不再获得新的专业领域词汇，从而得到最终的专业领域词汇集。

本发明的优点与积极效果在于：以少量种子词，通过迭代自举，即可获得较为适用的专业领域词汇集合，可以平衡词汇特征空间的足够区分度和计算性能。以聚合重要性来衡量某个词汇在语料库中的重要程度并建立权序关系，基于此重要性计算不同维度正、负词汇特征集合之间的距离、相似性和区分指数，确定最优的专业词汇集合特征维度。

附图说明

图1是本发明的量化确定专业领域词汇集合最优维度的方法的步骤流程图。

具体实施方式