[发明专利]一种基于多特征融合的主题词提取方法

说明书

本发明涉及一种基于多特征融合的主题词提取方法，包括以下步骤：通过用户输入的网址自动采集其能访问到的所有页面内容，以获取网页的藏文文本；根据藏文关键词表对获取的藏文文本进行匹配，将出现在藏文关键词表中的词汇选为候选主题词；对所述候选主题词进行权重计算，根据权重对所述候选主题词进行排序，并从排序后的候选主题词中确定一个或多个主题词。本发明提出了一种构建关键词表，将一些重要的低频词筛选为主题词的方法，有效的提高人们从海量数据中获取所需信息的准确性。

技术领域

本发明涉及信息处理领域，尤其涉及一种基于多特征融合的主题词提取方法。

背景技术

主题是文档所表达的中心思想，是计算机表达文档的最有效的方式之一。主题信息挖掘是有效解决文档空间向量高维稀疏性、提高检索质量的重要手段，同时在信息推荐中也起到了重要的作用。主题词通常由若干词或者短语组成，代表着文章的一个内容提要。准确的若干个主题词，可以有效表示文章的基本内容，用户通过这些主题词，可以快速、准确把握文章内容。主题词的抽取通常是运用各种加权算法，计算词汇对文本主题表达的贡献，然后从大到小取前n个词汇作为文本的主题词。

对于主题词提取的研究，国内外很多研究者提出了不同的自动提取方法，归结起来主要有以下几种策略：

(1)基于结构的方法：该方法根据新闻文本中主要信息集中于固定位置的特征，在文本中的相应位置和标题处进行主题词提取，但对于其他类型的文本的处理效果却不理想。

(2)基于统计的方法：该方法主要根据文本中词汇的权重来筛选主题词，通过对文本中每个候选词权重的计算，选择权重大于指定阈值的词汇作为主题词。对于词汇权重的计算可以通过词频或TF-IDF(Term Frequency Inverse Document Frequency，资讯检索资讯探勘的常用加权技术)算法等。基于统计的方法，不需要使用额外的信息，只需要考虑文本语料库本身，计算速度快。

(3)基于自然语言理解的方法：该方法主要是基于人工智能领域的一些算法改进后应用到主题词提取上。主要是通过在一些可以提前获取的语料库上进行模型的训练，得到一个主题词抽取的模型，然后在对需要进行主题词抽取的文本进行处理时，使用该模型进行主题词提取。如TextRank算法，基于主题模型的关键词抽取等。通过这些方法，可以取得比较好的关键词抽取效果。

通过以上分析，本文提出了一种基于多特征融合的主题词提取方法,该方法主要利用高频词、关键词以及文本标题中的词，并基于决策规则进行主题词的提取。

发明内容

对于采用基于统计的方法进行主题词的提取，通过计算词汇出现的频次对词汇进行权重设置，得到的主题词都是出现频率较高的词汇，而有一些也很重要的低频词，却不能提取。为解决现有技术的不足，本发明提出了一种构建关键词表，将一些重要的低频词筛选为主题词的方法，所提取的主题词能够较好的表达文本的主旨，有效的提高人们从海量数据中获取所需信息的准确性。

为实现上述目的，本发明提供了一种基于多特征融合的主题词提取方法包括以下步骤：通过用户输入的网址自动采集其能访问到的所有页面内容，以获取网页的藏文文本；根据藏文关键词表对获取的藏文文本进行匹配，将出现在藏文关键词表中的词汇选为候选主题词；对候选主题词进行权重计算，根据权重对候选主题词进行排序，并从排序后的候选主题词中确定一个或多个主题词。

优选地，将出现在藏文关键词表中的词汇选为候选主题词步骤，包括：将藏文文本中的高频词、关键词和文本标题中的词汇选为候选主题词；如果高频词、关键词和文本标题的词汇个数之和不足n个，则去除重复词汇后全部保留为主题词；如果高频词、关键词和文本标题的词汇个数大于n个，则去除重复词汇后根据公式对词汇的权重进行计算；计算完权重后，根据权重对词汇进行排序，选取前n个词作为主题词。