[发明专利]一种基于Web的藏文文本自动摘要生成方法

说明书

技术领域

本发明涉及信息处理领域，尤其涉及一种基于Web的藏文文本自动摘要生成方法。

背景技术

文摘是以提供文摘内容梗概为目的，不加评论和补充解释，简明、确切地记述文献重要内容的短文。自动摘要技术是利用计算机对文本进行分析，从中选择反映文本主题的内容进行提取从而形成摘要。按照不同的分类标准可将摘要分为不同的类别。按照摘要内容与源文档的对比可把摘要分为摘录式摘要和生成式摘要两类。摘录式摘要文本是由从源文本中提取出来的句子构成，生成式摘要建立在理解篇章语义的基础上进行摘要的生成，摘要文本不是所有内容都在源文本中。而按照摘要源文本的文本数量又可将摘要分为单文本摘要和多文本摘要。单文本摘要是指只对一个源文本进行摘要提取，而多文本摘要是对多个源文档在同一主题下进行综合性性摘要生成。本文采用摘录式方法对单文本进行摘要提取。

当今，有很多研究者对中英文摘要的提取进行了大量的研究。从自动摘要的研究策略上来看，自动摘要的研究可划分为三个时期：机械摘要时期、理解摘要时期和综合摘要时期。机械摘要不受领域限制，方法简单，但摘要质量不会太高；而理解摘要只能用于某一个小的领域且质量高，但难度较大，不易实现；因此，人们开始逐渐重视将多种方法综合起来提取摘要，以实现优势互补，进而有了综合摘要的出现。

国外对于自动摘要技术的研究始于1958年，美国IBM的H.P.Luhn进行了第一次自动文摘实验。Luhn使用词汇的出现次数作为词的权值，进而对包含这些高频词的句子进行打分，将得分高的句子从文中抽取出来作为摘要；P.E.Baxendale在研究中指出了句子在段落中的位置与该句重要性之间的关系；之后又有研究者提出了基于朴素贝叶斯算法的方法、基于决策树算法的方法、基于隐含马尔科夫模型的方法等，均取得了一定效果。

国内对于自动文摘技术的研究起步较晚，随着计算机在我国的普及, 以及网络时代对信息流通处理的需求,自动文摘技术的研究在20世纪90 年代才逐渐发展起来。1988年上海交通大学的王永成教授开始中文文献自动文摘系统，相继开发了“汉语文献自动编制文摘试验系统”、“中文文献自动摘要系统CAES”及1997年研制的“OA中文文献自动摘要系统”。其中OA中文文献自动摘要系统采用了仿人算法，并综合考虑了位置、指示短语、关键词以及标题等多种因素，且该系统不受领域限制，是一个较为实用的系统。此外，哈尔滨工业大学王开铸教授结合了基于统计的机械摘要与基于意义的理解摘要，开发了HIT—97I型英文自动摘要系统。

对于藏文自动摘要的研究目前来看较少，主要有研究者安见才让提出的基于句子抽取的Web文摘生成方法，该方法主要是将每个Web句子的权重分解为Web特征词和Web句子结构权重，然后根据句子权值大小挑选一定数量的句子作为摘要。

随着国家对藏族地区信息技术建设的大力支持，藏文网站的数量越来越多，这为藏文文本自动摘要技术的研究提供了大量的语料。另一方面，藏文网页摘要的提取为藏区信息化发展提供有利的技术，为藏文信息的检索带来方便，可以使得人们能够很快地判断出原文中是否有感兴趣的内容，可以让人们很快找到自己真正需要的信息，而不必将时间浪费在不相关文档的阅读上，大大提高人们获取信息的效率，因而对社会发展和经济建设有一定的使用价值。

发明内容

藏文自动摘要的研究目前来看较少，为了方便帮助人们获取藏文信息，本发明提出了采取摘录式方式进行自动摘要生成方法，是选择一定数量的最能代表文本主题思想的句子组成摘要，有效的方便人们获取藏文信息，同时提高了人们获取信息的效率。

为实现上述目的，本发明提供了一种基于Web的藏文文本自动摘要生成方法，包括以下步骤：通过主题词表去匹配文章原文中的句子，并对句子的权重进行计算；根据句子权重进行排序，选取文章句子总数的百分比作为摘要句；将提取的句子按照句子在原文中的顺序进行重新排序，将句子进行拼接生成摘要。

优选地，主题词表通过以下方法构建：通过统计文章的词频，选择一定数量的高频词汇加入到候选主题词表；通过领域关键词表对分词后的文章进行匹配，将匹配的关键词加入到候选主题词表；从文章标题中提取出部分词汇加入到候选主题词表；最后根据主题词提取算法从以上三部分词汇中提取主题词表。