[发明专利]文本标签构建方法、装置、计算机设备和存储介质

说明书

本申请涉及一种上述文本标签构建方法、装置、计算机设备和存储介质，获取待处理文本数据，对待处理文本数据进行分词处理，得到分词集合，通过word2vec训练所述分词集合，得到所述分词集合中词语之间相似度，基于词语之间相似度进行词语聚类，并根据词语聚类结果构建文本标签。整个过程中，通过word2vec训练来准确获取文本数据中各个词语之间相似度，并基于词语之间相似度进行聚类并且在聚类过程采用迭代聚类的方式能够实现准确聚类，再基于准确聚类的聚类结果可以合理且准确构建出文本数据的标签。

技术领域

本申请涉及计算机技术领域，特别是涉及一种文本标签中标签构建方法、装置、计算机设备和存储介质。

背景技术

随着计算机与互联网的飞速发展，文本文档数据呈指数增长。然而面对如此庞大的数据，如何从中挖掘出有用信息，如何快速检索数据一直是人们面临的一个重要问题。

其中利用标签构建在文档数据的利用方面发挥着重大作用，比如根据标签可以进行UGC(User Generated Content，用户原创内容)的分类聚类、建立索引、主题搜索、主题爬虫以及推荐系统等等。除了以上应用之外，标签构建的另一个常见的用处是新闻或博客。通过对新闻或博客进行关键词提取，读者可以在很短时间内了解文章的内容，从而决定是否深入阅读；通过对某一位博主的UGC进行标签构建，读者可以迅速了解该博主的主要发文领域，从而决定是否进行关注。

可见在文本中标签的合理构建有利于在海量数据中高效实现大数据处理。然而，常规标签构建方式多是基于主题词等方式构建，这类标签实现方式一般适用于站点、文章地域等情境，其并不适合于大数据文本中标签的创建，无法准确实现大数据文本中标签创建。

发明内容

基于此，有必要针对上述技术问题，提供一种适用于大数据文本中标签创建的文本标签构建方法、装置、计算机设备和存储介质。

一种文本标签构建方法，所述方法包括：

获取待处理文本数据；

对所述待处理文本数据进行分词处理，得到分词集合；

调用word2vec训练所述分词集合，得到所述分词集合中词语之间相似度；

随机选取所述分词集合中K个词语作为初始聚类中心；根据所述分词集合中词语之间相似度，获取所述分词集合中其他词语与所述初始聚类中心之间距离；根据所述分词集合中其他词语分至距离最近的所述初始聚类中心对应的簇中；重新计算每个所述簇的质心，将所述质心重新作为所述初始聚类中心，迭代返回所述根据所述分词集合中词语之间相似度，获取所述分词集合中其他词语与所述初始聚类中心之间距离的步骤，直至满足预设迭代停止条件；根据迭代结束时所述簇的质心，构建文本标签。

在其中一个实施例中，所述对所述待处理文本数据进行分词处理，得到分词集合包括：

对所述待处理文本数据进行分词处理，得到初始分词集合；

去除所述初始分词集合中噪音词语，得到分词集合，所述噪音词语为在所述待处理文本数据中各类文档均出现且累计出现次数大于预设次数阈值的词语。

在其中一个实施例中，所述对所述待处理文本数据进行分词处理，得到初始分词集合包括：

对所述待处理文本数据进行分词和停用词去除处理，得到初始分词集合。

在其中一个实施例中，所述对所述待处理文本数据进行分词处理，得到分词集合包括：

获取分词配置参数，所述分词配置参数包括需分词的字符串、分词模式参数以及HMM参数，所述分词模式包括精确模式、全模式以及搜索引擎模式；

根据所述分词配置参数配置分词工具；

调用配置后的所述分词工具对所述待处理文本数据进行分词处理，得到分词集合。