[发明专利]一种构建文档-关键词异构网络模型方法

说明书

本发明公开一种构建文档‑关键词异构网络模型方法，包括：获取大量文本语料作为语料库；获取相应停用词语料；对获取的所有文本进行去停用词处理；计算和保存每个单词词频；计算和保存关键词间互信息；计算和保存文档‑词的权重；构建文档‑词异构网络。与现有技术相比，本发明的有益效果是：本发明所提供的一种构建文档‑关键词异构网络模型方法，构建语料库的文本语料和停用词语料容易获取，关键词处理过程简单有效，边缘权重易于计算获得，可将无结构化或半结构化的文本文档转换成能够被各种处理算法识别与计算的结构化形式，可以将本发明应用于文本特征提取或者文本聚类后端处理领域，从而为人们提供有价值的信息。

技术领域

本发明涉及数据挖掘与自然语言处理技术领域，特别是涉及一种可应用于提取文档向量、文本分类、链路预测等下游任务的构建文档-关键词异构网络模型方法。

背景技术

现如今，文本已经成为众多平台上研究的热点问题，同时由于大多数文本都是非结构化或半结构化数据，文本挖掘已经是面向多领域进行数据挖掘重要的研究角度之一。同时随着互联网的逐渐普及，网络文本的数据规模越来越大，信息量的增长速度也随之逐渐扩大，要从海量数据中知道到用户所需要的信息也逐渐变得越来越困难。

传统的方法，包括有对一篇文档所包含的所有词向量求平均值，运用基于神经网络概率理论对自然语言进行处理的doc2vec模型等。最近，包括卷积神经网络(CNN)和循环神经网络(RNN)等在内的深度学习模型已广泛用于学习文本表示，但由于CNN和RNN优先考虑局部性和序列性，这些深度学习模型虽然可以获取局部连续词序列中的语义和句法信息，但忽略了语料库中非连续的全局词共现和长距离语义。针对这个问题，我们提出一种新的构建文档-关键词异构网络模型方法。

发明内容

本发明的目的是提供一种新的构建文档-关键词异构网络模型方法，将无结构化或半结构化的文本文档转换成能够被各种处理算法识别与计算的结构化形式，可以将本发明应用于文本特征提取或者文本聚类后端处理领域，从而为人们提供有价值的信息。以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了如下技术方案：

1)获取大量文本语料作为语料库；

2)获取停用词语料；

3)对所有文本进行去停用词处理；

4)计算和保存每个单词词频，所述词频定义为某个单词在某一篇文章中出现的次数，取词频大于等于N的单词作为关键词，所述N为本发明预定义的一个固定的整数值，其数值大于1；

5)计算和保存关键词间互信息PMI(i,j)，如下述公式所示：

其中，i和j是步骤4)中作为关键词的单词，#W(i)是语料库中包含单词i的文档的数量，#W(i,j)是同时包含单词i和j的文档的数量，#W是语料库中文档的总数量；PMI(i,j)>0表示语料库中单词的高语义相关性，PMI(i,j)<0表示语料库中很少或没有语义相关性；

6)计算和保存文档-词的权重，如下述公式所示：

TF-IDF＝tf(t，D_i)×idf(t)

其中,tf(t,D_i)为单词t在第i篇文档中的词频，M为文档的总数，n_t为文档集中出现单词t的文档数量，IDF表示倒文本频率，倒文本频率是文本频率的倒数，所述文本频率是指某个关键词在整个语料所有文章中出现的次数；

7)构建文档-词异构网络