[发明专利]基于TF-IDF和领域词典的主题内容聚合分析方法

摘要

本发明公开了一种基于TF‑IDF和领域词典的主题内容聚合分析方法，属于情报信息处理领域。基于TF‑IDF获取主题需求词的扩展词集；将其作为检索文本遵循基于领域词典的检索策略完成对资源池中多种类型资源的检索，经过审核进行资源删补，对每种目标资源类型，根据资源的时效性、权威性及相关度进行有序排列和发布。与传统方法相比，本方法通过扩展词集保证了主题内资源的检全率，通过基于领域词典的检索策略和具有针对性的各类型资源排序模型，保证了主题内资源的检准率；通过审核原则保障了主题内资源的质量。易扩展易维护，同时大大降低了主题资源内容聚合的时间和人工成本。

主权项

1.基于TF‑IDF和领域词典的主题内容聚合分析方法，其特征在于，包含如下步骤：步骤S1：获取用于主题聚合的指定领域和1个初始需求词，并根据初始需求词指定领域词典；领域词典建立在所指定领域的科学叙词表基础上，科学叙词表包含所指定领域的叙词、非叙词以及词间语义关系；步骤S2：对初始需求词扩展，得到正式扩展词集，包括如下步骤：S2‑1：语料资源召回使用步骤S1确定的初始需求词，在原始语料资源库中通过检索，召回K个最相关的资源，作为命中结果集；此处，原始语料资源库指从资源池中抽取出来的期刊资源，这些资源的关键字段齐全且没有异常字符，所述关键字段包括：标题、关键词、摘要、作者、来源期刊、作者机构；K取值为正整数，该参数决定了进入步骤S2‑2语料遴选阶段的资源数量；所述资源池是指通过自建、购买等多种渠道汇聚而成的电子资源集合；S2‑2：语料遴选抽取命中结果集中各资源的关键字段，包括：标题、关键词、摘要、作者、来源期刊、作者机构，作为关键字段对象集合；S2‑3：语料分词将上一步抽取出来的关键字段对象集合进行碎片化，根据预先设置的分词粒度参数和分词策略，形成文本碎片词集；S2‑4：词集过滤使用停用词表、生活常用词表对文本碎片词集进行过滤：将文本碎片词集中，隶属于停用词表、生活常用词表的词项提取出，然后将这些词项逐个与核心期刊关键词表对比；若其隶属于核心期刊关键词表，则将其保留在文本碎片词集中，若其不属于核心期刊关键词表，则从文本碎片词集中去除该词项；所述核心期刊关键词表，由原始语料资源库中的核心期刊收录文章的关键词构成；将文本碎片词集保留下来的所有词项的集合称为候选扩展词集合A′；S2‑5：特征词提取利用TF‑IDF算法，对候选扩展词集合A′中的每个词项，计算其与初始需求词的相关度，作为该词项对整个候选扩展词集合A′的重要性程度，设第n个词项对A′的重要性程度为w_n；然后将重要性程度w_n从大到小降序排列，提取出w_n值最大的前M个词项作为特征词，这些特征词构成正式扩展词集A；其中，M为预先设置参数，表示正式扩展词集A中的词项个数，且取值为正整数；所述重要性程度计算公式为：TF_n指第n个词项在集合A′中出现的词频，f_n为第n个词项在集合A′中出现的次数，f_d为集合A′中的词项总个数；log为取对数运算；IDF_n则是第n个词项在集合A′中的逆向词频指数，其中K为步骤S2‑1预设的参数，K_n为K条资源中包含有第n个词项的资源数量；步骤S3：通过检索建立备选资源集；S3‑1：检索词扩展将步骤S2‑5得到的正式扩展词集A中各词项基于领域词典进行扩展，即依据该领域词典对应的科学叙词表中英对照及“用代属分参”语义关系对各词项进行上下位、统一词及中英对照词的扩展，并去掉其中的重复词项，生成正式检索词集B；S3‑2：检索词拼接将正式检索词集B中的各词项拼接成为检索词串，作为检索输入文本，检索词串的拼接规则为词项之间以“或”运算符连接；S3‑3：资源结果召回首先确定检索涉及的目标资源类型，然后对每种目标资源类型指定相应的关键字段，将关键字段设置为该种目标资源类型的默认检索字段，使用步骤S3‑2中获取到的检索词串，在资源池中进行检索时，只在每个资源的默认检索字段进行检索，若该资源的默认检索字段中包括正式检索词集B中的1个或多个词项，则将该资源纳入备选资源集；所述目标资源类型，包括新闻资讯、中文期刊、外文期刊、OA期刊、领域专家、科研成果；步骤S4：审核及快速补充，排序后获得最终正式主题结果集对上步中得到的备选资源集进行审核及补充，形成最终正式主题结果集；包括如下步骤：S4‑1：对备选资源集中各资源按照如下标准进行审核：(1)根据S3‑3中该资源所属的目标资源类型相应的关键字段，查看该资源的关键字段均不为空；(2)该资源的全部内容无异常字符；对符合以上标准的资源则通过审核，纳入候选主题结果集；当有异常字符的情况下若通过修改可消除的，则修改后也将其纳入候选主题结果集；S4‑2补录新增资源对每种目标资源类型建立相应的录入模板，所述录入模板指每个类型的资源必填的字段和非必填的字段；对资源池外其他的与初始需求词高度相关的资源，若拟将其作为新增资源，则首先根据该资源所属的目标资源类型选择相应的录入模板，并按照录入模板录入相应的内容，至少应在对应的录入模板中录入所要求必填的字段；步骤S4‑3新增资源导入将完成录入的新增资源的关键字段与候选主题结果集中的资源的关键字段进行比对，以排除重复的资源；若非重复资源则将其纳入到候选主题结果集；步骤S4‑4：结果排序对每种目标资源类型，根据资源的时效性、权威性及相关度，对步骤S4‑3获得的候选主题结果集中的资源进行有序排列，获得最终正式主题结果集；步骤S5：将最终正式主题结果集进行发布，发布时根据不同目标资源类型，按照步骤S4‑4获得的排序进行展示。