[发明专利]一种结构化摘要的生成方法

权利要求书

1.一种结构化摘要的生成方法，其特征在于：包括以下步骤：

(i)从文档集合中识别产品的属性词aspect，通过聚类方法或预先预定来获得aspect的同义词集或指示词集合；

(ii)对每个文档进行分句，通过字典匹配方法将每个句子分配到各个aspect上，即如果句子包含该aspect指示词集中的词，则认为该句子与该aspect相关；

(iii)对每个aspect，将所有与此aspect相关的句子放在一起，利用最大边际相关性MMR方法生成一个摘要；

(iv)利用句子的基于词频TF*倒文档频率IDF表示的余弦相似度，去掉aspect之间冗余度高的重复句子；

(v)按照aspect，输出结构化的摘要。

2.一种结构化摘要的生成方法，其特征在于：包括以下步骤：

(1)抽取aspect特征词及生成aspect标签；

(2)基于Labeled LDA的aspect建模；

(3)进行aspect的重要性度量；

(4)进行句子与aspect的相关性度量；

(5)生成结构化摘要。

3.根据权利要求2所述的结构化摘要的生成方法，其特征在于：步骤(1)包括以下分步骤：

(1.1)每个aspect都有一组相关文档，用皮尔逊卡方检验比较单词在特定aspect相关的文档集与背景文档集中出现的频率，从而抽取aspect的指示词，背景文档集由从所有aspect的相关文档集中随机抽取的文档构成；

(1.2)删除卡方值低的单词和低频词，去掉不是单词的术语并去掉那些出现在多个aspects中的单词，然后得到每个aspect的指示词列表。

4.根据权利要求3所述的结构化摘要的生成方法，其特征在于：步骤(2)中假设待摘要的文档集含有M篇文档，分别用D＝d₁，d₂，…，d_M表示，其中每篇文档d表示为N_d个单词构成的序列每个单词都选自一个大小为V的词表，N_d为d中的单词个数；假设有K个指定的aspect，在Labeled LDA模型中，每个aspect对应一个话题，另外还有一个表示一些在所有aspect中都出现的常用词的背景话题，总共有K+1个话题，每个话题是一个单词上的多项分布，第k个话题的分布为{P(w|β_k)}_w∈V；Labeled LDA中标签集合Λ＝{l₁，l₂，…，l_k+1}中的每个标签与一个话题对应，每个文档d只与标签集的一个子集对应文档d的话题混合分布θ_d只定义在标签子集Λ_d对应的话题上，根据话题混合分布θ_d，为d中的每个单词都赋予一个话题，认为该单词是由这个话题产生，经过参数学习与推理，可以得到每篇文档d的话题混合比例θ_d以及每个话题z的单词分布β_z；根据话题与aspect的对应关系，得到每个aspect的单词分布和每篇文档的aspect分布。