[发明专利]一种基于互联网服务单词语义权重的文本主题挖掘方法

说明书

一种基于互联网服务单词语义权重的文本主题挖掘方法，包括以下步骤：第一步：使用Python中的自然语言工具包，对Mashup服务描述文档进行中的单词进行词性标注；第二步：统计单词词频信息，计算TF‑IDF信息；第三步：提取Mashup服务标签信息，并基于名词集Nset和TF‑IDF值，重新计算Mashup服务描述文档中的每一个单词的语义权重；第四步：通过NMF模型求解Mashup主题特征。本发明在TF‑IDF的基础上，结合服务标签信息和上下文单词信息，重新计算单词的权重，提高关键性单词的权重值，从而有效地对Mashup服务建模，确认服务文档主题。

技术领域

本发明涉及到一种基于互联网服务单词语义权重的文本主题挖掘方法

背景技术

随着云计算的发展和服务计算“服务化”的思想驱动，越来越多的公司将数据、资源或者相关业务通过Web服务的形式发布到互联网上，以提高信息的利用率和自身竞争力。然而传统基于SOAP协议的Web服务，存在技术体系复杂、扩展性差等问题，难以适应现实生活中复杂多变的应用场景。为克服传统服务带来的问题，近年来，互联网上涌现出一种轻量级的信息服务组合模式——Mashup技术，可以混搭多种不同Web API，开发出多种全新的Web服务，以缓解传统服务难以适应复杂多变应用环境的问题。

随着Mashup服务快速增长，如何在众多Mashup服务中找到高质量的服务，已经成为一个大家关注的热点问题。但是Mashup服务描述文档通常是短文本，传统挖掘算法对短文本处理能力欠缺，导致无法有效地对Mashup服务建模。

非负矩阵分解(Non-negative Matrix Factorization,NMF)作为一种流行的主题建模方法，对稀疏数据有较强的处理能力。现有研究利用NMF模型研究中，多数采用文档-词频信息或者词频-逆向文档频率(term frequency–inverse document frequency，TF-IDF)信息作为文档-单词矩阵信息求解主题特征，但是由于Mashup服务描述文档通常较短，关键单词在描述中很难再次出现，即多数关键性单词的出现的次数为1，对文档的区分作用非常小，因此传统的词频信息和TF-IDF信息容易导致NMF模型无法很好地对Mashup服务描述文档进行建模。

发明内容

为了克服现有Mashup服务描述文本简短，导致用文档-词频信息或者TF-IDF方法对关键性单词区分弱，使得NMF模型无法有效对Mashup服务建模的问题，本发明提出一种基于互联网服务单词语义权重的文本主题挖掘方法，该方法在TF-IDF的基础上，结合服务标签信息和上下文单词信息，重新计算单词的权重，提高关键性单词的权重值，从而有效地对Mashup服务建模，确认服务文档主题。

本发明解决其技术问题所采用的技术方案是：

一种基于互联网服务单词语义权重的文本主题挖掘方法，包括以下步骤：

第一步：使用Python中的自然语言工具包，对Mashup服务描述文档进行中的单词进行词性标注，步骤如下：

1.1遍历当前Mashup服务描述文档中的每一个单词，利用NLTK对单词进行词性还原；

1.2利用NLTK提取单词词根，并判断单词是否是名词性单词，若是名词性单词加入名词集合Nset；

1.3重复步骤1.1直至处理完所有Mashup服务；

第二步：统计单词词频信息，计算TF-IDF信息，步骤如下：

2.1遍历Mashup服务描述文档中的每个单词，统计当前文档中每个单词的出现的次数，计算每个单词TF值，计算公式如下：

其中，TF_i,j表示第i个Mashup服务描述文档中第j个单词的词频信息，NUM(j)表示第j个单词出现的次数，LEN(i)表示第i个Mashup文本的长度；