[发明专利]一种量化确定专业领域词汇集最优维度的方法

摘要

本发明公开了一种量化确定专业领域词汇集量优维度的方法。该方法包括：选择少量专业领域种子词汇，以定制接口搜索互联网搜索引擎和专业文献索引网站获取样本文档，利用专家标注的样本文档，生成正、负文档相关的词汇集合；计算词汇的聚合重要性，以其建立正、负词汇特征集合的权序关系；递增特征维度，按序选择该维度数目的正、负词汇，生成合并特征集合；基于合并特征集合计算正、负词汇特征集合之间的距离、相似度和区分指数；以区分指数的变化率确定区分维度，按序从正词汇特征集中选择该维度数目的词汇，生成最优数目的专业领域词汇特征集；以新选择的专业领域词汇作为种子词，重复上述过程进行迭代自举，直至不再获得新的专业领域词汇。

主权项

1.一种量化确定专业领域词汇集最优维度的方法，其特征在于，包括以下步骤：1)选择少量专业领域种子词汇，以其搜索互联网搜索引擎和专业文献索引网站获取样本文档，利用专家标注的样本文档，生成正、负文档相关的正负词汇特征集合；2)计算正负词汇特征集合的聚合重要性，根据聚合重要性建立正、负词汇特征集合的权序关系，生成有序的正、负词汇特征集合；3)递增特征维度，按序选择该维度数目的正、负词汇，生成合并特征集合；4)基于合并特征集合计算正、负词汇特征集合之间的距离和相似度，并进一步计算得到区分指数；维度i的区分指数定义为维度i时的Jaccard距离和余弦相似度的乘积；5)以区分指数的变化率确定最优的专业词汇集合特征维度，按序从正词汇特征集中选择该维度数目的词汇，生成最优数目的专业领域词汇特征集；以新选择的专业领域词汇作为种子词，重复步骤1)～步骤5)进行迭代自举，直至不再获得新的专业领域词汇，从而得到最终的专业领域词汇集；基于所述迭代自举不断扩充专业领域词汇特征集合，即以少量种子词汇开始，利用每次选择得到当前最优词汇，再次进行迭代自举，直至正相关词汇集合不再扩大，以此生成专业领域词汇表。