[发明专利]一种基于文本分割技术的多文档文摘方法

说明书

技术领域

本发明属于多文档文摘技术领域，尤其涉及一种基于文本分割技术的多文档文摘方法。

背景技术

在网络时代中，各类电子文本信息大量涌现，如何帮助用户在较少的时间从信息海洋中迅速准确地获得用户感兴趣的信息，日益成为自然语言理解领域的研究热点。多文档文摘是将同一主题的多个文本去除冗余信息，按照一定的压缩比有机地融合在一起的技术，该技术将把用户提供的相关文档集合形成文摘，并以适当的形式展现给用户，提高了获取信息的效率，并随着近几年连续举办的各类国际大型评测会议，相关技术有了较大突破。

多文档文摘技术的特点是将同一主题下的文档集合进行有效的压缩，而这些文档集合虽属于同一主题，但往往从多个不同的方面和角度对事件进行论述，形成了所谓的子主题或子事件。传统文本处理技术以篇章作为基本处理单元，认为一篇文章只讨论一个主题，从句子重要度出发抽取若干文摘句，该方法容易造成对次重要主题的遗漏或忽略。秦兵等人提出了基于子主题的多文档文摘方法，孔庆苹等人基于概念获取的多文档主题划分。上述方法都考虑到了多文档包含多个子主题的特点，但这些方法多通过句子聚类法将各句子划分到相应主题下，然后提取文摘句。然而在实际的文档写作过程中，作者一般都会用连续的段落来表达一个主题，基于这个情况，描述某个局部主题的段落通常都是连续的、而非离散的。因此完全按照句子作为处理颗粒度将会使得有些信息可能被忽略。

文本分割技术可以按照文档主题叙述的线性变换将文档划分成为若干个语义片段或分割单元。将文本分割技术作为多文档自动文摘的主题分析或主题划分技术，使用语义段落(文本片段)作为基本处理单元，来识别文本内部不同子主题的边界，并将其线性分割开来。

发明内容

本发明提供了一种基于文本分割技术的多文档文摘方法，旨在解决传统文本处理技术以篇章作为基本处理单元，认为一篇文章只讨论一个主题，从句子重要度出发抽取若干文摘句，容易造成对次重要主题的遗漏或忽略，以及当完全按照句子作为处理颗粒度将会使得有些信息可能被忽略的问题。

本发明的目的在于提供一种基于文本分割技术的多文档文摘方法，该多文档文摘方法包括以下步骤：

步骤一，以“知网”作为工具获取概念，并以获取的概念作为特征建立概念向量空间模型；

步骤二，使用改进的Dotpfotting算法进行文本分割，获得文本的主题划分；

步骤三，利用建立的概念向量空间模型计算句子权重，根据句子权重、主题划分、句子相似度产生文摘。

进一步，步骤一，以“知网”作为工具获取概念时，将“知网”结构中的DEF项相同的词语作为词义相同的义原，提取出来作为同一个概念不同词语的集合，具体的实现步骤为：

S11，选择多义词的DEF项

S111，利用中科院计算所的ICTCLAS平台对文本进行词语切分和词性的标注，去除对文本文摘作用不大的介词、虚词、数词词语，提取出关键的名词、形容词重要词语进行处理，得到一个切分好和带词性标注的文本；

S112，在对多义词的DEF项选取主要分两种情况进行，一种情况是有些多义词在不同语境下的词性是不同的，可根据标注好词性的特点确定这些多义词的DEF项，另外一种情况是在不同DEF项下有相同的词性，但在不同语境下需要与不同词性词语搭配使用，根据不同语境将会产生不同的语法形式确定这类多义词的DEF项；

S12，在确定多义词DEF项后，采用改进的DEF项获取其他词语概念

S121，重新定义DEF项，将DEF项扩展为包含的基本义原和该词语中的关系义原的并集，在扩展时过滤掉“知网”中含义过大、过宽泛的抽象义原；

S122，以句子为单位建立概念获取前的文档模型，表示为Sj(W1，W2，...Wn)，文档由j句话构成，每句话包含n个词语；

S123，进入建立向量空间模型的句子扫描，设目前正在扫描第j句话；

S124，扫描句中词语Wi，找到所对应的DEF项，并在该句话中扫描是否有与DEF项义原相同的词语，如果没有则标注词语Wi的概念，则扫描句子下一个词语Wi+1，转到S24，句中所有词语扫描完，进入下一个句子的扫描，转到S23；若有相同词语，转到S25；