[发明专利]一种文本聚合方法及系统

权利要求书

1.一种文本聚合方法，用于对长文本和短文本进行聚合，其特征在于，包括以下步骤：

对长文本进行聚类，获得长文本对应的话题，所述长文本中包含有标题；

建立分类模型，并获取长文本摘要，以及所述长文本摘要对应的实体集合；

利用所述话题、标题、长文本摘要以及实体集合，建立第一映射集和第二映射集；

将属于相同话题的长文本摘要和标题，随机一一匹配后组合得到第一映射集；

将属于不同话题的，且包含相同实体的长文本摘要和标题进行随机一一匹配，然后组合得到第二映射集；

利用所述第一映射集和第二映射集训练所述分类模型，得到训练后的分类模型；

获取待测长文本摘要，利用所述待测长文本摘要和待测短文本建立第三映射集，利用所述第三映射集和所述训练后的分类模型，获得文本聚合结果；

其中，所述利用所述待测长文本摘要和待测短文本建立第三映射集，具体为：

依据待测长文本摘要对应的实体集合和待测短文本对应的实体集合中包含的相同实体，对预处理后的待测长文本摘要和待测短文本进行一对一映射，映射完成后组合得到第三映射集。

2.如权利要求1所述的一种文本聚合方法，其特征在于，所述文本聚合方法利用Single-Pass算法对长文本进行聚类，获得长文本对应的话题。

3.如权利要求1所述的一种文本聚合方法，其特征在于，所述文本聚合方法利用TextTeaser算法对长文本生成长文本摘要，以及利用命名实体识别算法获取长文本摘要对应的实体集合。

4.如权利要求1所述的一种文本聚合方法，其特征在于，所述利用所述待测长文本摘要和待测短文本建立第三映射集，具体为：

利用命名实体识别算法对待测长文本摘要和待测短文本进行处理，获得待测长文本摘要和待测短文本各自对应的实体集合；

根据所述待测长文本摘要和待测短文本各自对应的实体集合，获得包含有相同实体的待测长文本摘要集合和待测短文本集合；

对所述待测长文本摘要集合中的待测长文本摘要和待测短文本集合中的待测短文本分别进行预处理；

依据待测长文本摘要对应的实体集合和待测短文本对应的实体集合中包含的相同实体，对所述预处理后的待测长文本摘要和待测短文本进行一对一映射，映射完成后组合得到第三映射集。

5.一种文本聚合系统，用于对长文本和短文本进行聚合，其特征在于，包括：

话题生成模块，用于对长文本进行聚类，获得长文本对应的话题，所述长文本中包含有标题；

分类模型建立模块，用于建立分类模型，并获取长文本摘要，以及所述长文本摘要对应的实体集合；

映射集建立模块，用于利用所述话题、标题、长文本摘要以及实体集合，建立第一映射集和第二映射集；

所述映射集建立模块包括第一映射集建立单元，用于将属于相同话题的长文本摘要和标题，随机一一匹配后组合得到第一映射集；

所述映射集建立模块包括第二映射集建立单元，用于将属于不同话题的，且包含相同实体的长文本摘要和标题进行随机一一匹配，然后组合得到第二映射集；

模型训练模块，用于利用所述第一映射集和第二映射集训练所述分类模型，得到训练后的分类模型；

文本聚合模块，用于获取待测长文本摘要，利用所述待测长文本摘要和待测短文本建立第三映射集，利用所述第三映射集和所述训练后的分类模型，获得文本聚合结果；

所述文本聚合模块包括：

第三映射集建立单元，用于依据待测长文本摘要对应的实体集合和待测短文本对应的实体集合中包含的相同实体，对预处理后的待测长文本摘要和待测短文本进行一对一映射，映射完成后组合得到第三映射集。

6.如权利要求5所述的一种文本聚合系统，其特征在于，所述话题生成模块利用Single-Pass算法对长文本进行聚类，获得长文本对应的话题。

7.如权利要求5所述的一种文本聚合系统，其特征在于，所述分类模型建立模块利用TextTeaser算法对长文本生成长文本摘要，以及利用命名实体识别算法获取长文本摘要对应的实体集合。

8.如权利要求5所述的一种文本聚合系统，其特征在于，所述文本聚合模块包括：

实体生成单元，用于获取待测长文本摘要，利用命名实体识别算法对待测长文本摘要和待测短文本进行处理，获得待测长文本摘要和待测短文本各自对应的实体集合；

短文本筛选单元，用于根据所述待测长文本摘要和待测短文本各自对应的实体集合，获得包含有相同实体的待测长文本摘要集合和待测短文本集合；

文本预处理单元，用于对所述待测长文本摘要集合中的待测长文本摘要和待测短文本集合中的待测短文本分别进行预处理；

第三映射集建立单元，用于依据待测长文本摘要对应的实体集合和待测短文本对应的实体集合中包含的相同实体，对所述预处理后的待测长文本摘要和待测短文本进行一对一映射，映射完成后组合得到第三映射集。