[发明专利]一种基于Siamese网络的话题检测方法

说明书

本发明公开了一种基于Siamese网络的话题检测方法，该方法以成对新闻文本的话题标签作为监督信息，引入Siamese网络，将其与LSTM网络相结合，引入余弦距离取代Siamese网络中原有欧氏距离来衡量文本相似度，利用Siamese网络衡量两个输入数据的相似程度的特性，根据文本相似程度，将用word2vec与词性特征表示的输入数据映射到维度较低的新的空间，属于同一话题的数据，在新空间的距离较近，实现对新闻文本数据的话题特征提取，解决了TF‑IDF模型数据维度高、数据稀疏的问题，有效提高了后期文本聚类结果的准确率。

技术领域

本发明涉及计算机技术领域，具体涉及一种基于Siamese网络的话题检测方法。

背景技术

话题检测是指在没有人工干预的情况下，将新闻流中讨论同一话题的新闻数据进行自动分类，话题检测技术可以将分散的信息进行汇总，帮助人们从整体上了解事件发展过程和细节，发现事件间的相互关系，话题检测在网络信息自动分析处理、信息安全以及金融股票等领域有着广阔的应用前景。

要实现话题检测功能，主要解决三个问题：话题(报道)的模型化、话题(报道)相似度计算和聚类策略，其中话题(报道)的模型化是该任务的技术重点。传统的话题检测模型一般使用词袋模型和TF-IDF模型等对新闻文本信息进行模型化，词袋模型和TF-IDF模型较为简单，易于操作和理解，在话题检测任务中取得了一定的效果，但词袋模型和TF-IDF模型使用整个文本集的词来构造文本特征，使得构造的数据模型维度高，数据稀疏，计算成本较高，同时这些模型在提取文本特征时忽略了话题类别特征，使得话题检测准确率很难达到理想结果。

发明内容

针对现有技术不足，本发明提供一种基于Siamese网络的话题检测方法。该方法以成对新闻文本的话题标签作为监督信息，引入Siamese网络，将其与LSTM网络相结合，引入余弦距离取代Siamese网络中原有欧氏距离来衡量文本相似度，利用Siamese网络衡量两个输入数据的相似程度的特性，根据文本相似程度，将用word2vec与词性特征表示的输入数据映射到维度较低的新的空间，属于同一话题的数据，在新空间的距离较近，实现对新闻文本数据的话题特征提取，解决了TF-IDF模型数据维度高、数据稀疏的问题，有效提高了后期文本聚类结果的准确率。

本发明技术方案主要包括如下步骤：

(1)给定文本数据，对数据进行分词、去停用词、词性标注等预处理，在话题检测任务中，名词动词等实词信息能更好的描述文本的话题特征，根据该特性，对数据进行词性标注，根据标注结果赋予不同的权重，其中名词和动词赋予较高的权重值。词性权重信息与word2vec结合，将处理后的文本数据映射为计算机能够处理的文本向量。

(2)构造Siamese网络，根据文本数据特点，选用LSTM作为Siamese的主体网络架构，对输入数据进行特征提取和降维。

(3)将不同的文本数据进行俩俩配对，以话题标签作为监督信息，构成训练数据。然后将构成的训练数据输入Siamese网络，在训练过程中，以话题标签作为监督信息，用余弦距离来衡量文本特征相似度，对比输入数据在目标空间中的相似程度，将输入数据映射到新空间中，属于同一话题的数据，在新空间的距离较近，有效提高后期文本聚类结果的准确率，同时降低数据维度，训练结束后保存模型。(4)使用训练好的Siamese模型将输入的数据映射到目标空间，并保存映射后的文本特征数据。

(5)将得到的新的文本特征数据作为K-means聚类模型的输入进行聚类，得到聚类结果，其中每个簇代表一个话题。

附图说明

图1为本发明的整体流程图。

图2为本发明中的Simese网络模型架构图。

具体实施方式

参照图1，本发明给出的实施例包括了如下步骤：