[发明专利]文本的非常规特性挖掘方法及装置

说明书

本发明提供一种文本的非常规特性挖掘方法及装置，所述方法包括：获取待挖掘文本中每一关键词的信息量，以及每一词间关联度；基于每一关键词的信息量，以及每一词间关联度，获取词图，词图中的一个节点表示一个关键词，节点的初始值为关键词的信息量，词图中的边表示两个关键词的词间关联度；对词图中的每一关键词的信息量进行递归运算直到收敛，获取每一关键词的重要度，将重要度最大的关键词作为待挖掘文本的非常规特性。本发明提供的文本的非常规特性挖掘方法及装置，通过计算关键词的信息量，已经词间关联度，生成词图，再根据词图将重要度最大的关键词作为待挖掘文本的非常规特性，能够对文本进行深入的挖掘，获取文本的非常规特性。

技术领域

本发明涉及数据挖掘技术领域，尤其涉及一种文本的非常规特性挖掘方法及装置。

背景技术

随着科技的进步，每天都有大量的文本数据产生。这些文本有些是常规的，其特性是预知的。但是有些是非常规的，其特性是不可预知的。已知的特性，可依其特性设计方法来作分析，例如建立关键词的逻辑表达式来搜索文本是否有重要的特性。如何对文本的非常规特性进行分析是现阶段的一个重要课题。

现有技术中，常用的文本分析方法是三层贝叶斯概率模型(Latent DirichletAllocation，LDA)，LDA的主要功能是从大量文本找出主题来。主题可为任意数量，某一文本也可以包含数个主题。使用这样的主题分析，可以找出众多文本中各类的主题。这里主题为一组词来定义。例如体育的主题就会用运动、赛跑、跳高、游泳等词来定义，词也会有一概率分布，相关的词概率较高，不相关的词概率较低。

但是，现有技术中的方法只适用于分析未知场景的文本中的常规特性，即通过主题分析来确定未知场景的文本中涉及的主题。而针对已知的固定场景的文本，要分析出文本中的非常规特性，现有技术中的文本分析方法并不适用。

发明内容

本发明的目的是提供一种文本的非常规特性挖掘方法及装置，解决了现有技术中的文本分析方法不适用于文本中的非常规特性的挖掘的技术问题。

为了解决上述技术问题，一方面，本发明提供一种文本的非常规特性挖掘方法，包括：

获取待挖掘文本中每一关键词的信息量；

获取所述待挖掘文本中的每一词间关联度，所述词间关联度表示两个目标关键词的关联程度；

基于每一关键词的信息量，以及每一词间关联度，获取词图，所述词图中的一个节点表示一个关键词，节点的初始值为关键词的信息量，所述词图中的边表示两个关键词的词间关联度；

对所述词图中的每一关键词的信息量进行递归运算直到收敛，获取每一关键词的重要度，将重要度最大的关键词作为所述待挖掘文本的非常规特性。

另一方面，本发明提供一种文本的非常规特性挖掘装置，其特征在于，包括：

信息量获取模块，用于获取待挖掘文本中每一关键词的信息量；

词间关联度获取模块，用于获取所述待挖掘文本中的每一词间关联度，所述词间关联度表示两个目标关键词的关联程度；

词图获取模块，用于基于每一关键词的信息量，以及每一词间关联度，获取词图，所述词图中的一个节点表示一个关键词，节点的初始值为关键词的信息量，所述词图中的边表示两个关键词的词间关联度；

非常规特性获取模块，用于对所述词图中的每一关键词的信息量进行递归运算直到收敛，获取每一关键词的重要度，将重要度最大的关键词作为所述待挖掘文本的非常规特性。

再一方面，本发明提供一种用于文本的非常规特性挖掘的电子设备，包括：

存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述的方法。