[发明专利]基于短文本数据的区域事件检测方法和设备

说明书

技术领域

本发明属于数据挖掘技术领域，尤其是涉及一种基于短文本数据的区域事件检测方法和设备。

背景技术

随着互联网技术的蓬勃发展，越来越多的用户通过比如论坛、微博等社交网络平台来发布各种新闻或者发表个人对一些社会现象的意见。微博由于其独特的通信服务，如便捷性、即时性和易用，允许用户快速响应和无限制的传播信息内容，得到了越来越广泛的应用。数亿用户利在微博上通过短文本数据进行信息的传送和评论，爆炸式的数据信息带来前所未有的价值的同时，也给互联网安全检测和分析带来了巨大的挑战，对海量的数据信息进行有效的事件挖掘成为各搜索引擎主要研究的问题。

目前，对事件进行发现和挖掘比较有效的方法是聚类方法。聚类方法首先对数据进行聚类，然后通过一个相似度阈值约束，将得到的主题结果进行分类，分类结果中一类是历史事件的演变，另一类是新发现的事件，然而该方法并不能对数据进行静态的分析，将当前数据信息按事件进行归纳和分类，且聚类方法也不适用于对短文本数据信息的分析。

发明内容

本发明提供一种基于短文本数据的区域事件检测方法和设备，用以克服现有技术中无法对短文本数据信息进行有效的处理以进行归纳和分类的问题。

本发明提供了一种基于短文本数据的区域事件检测方法，包括：

获取待处理的短文本数据，所述短文本数据中包括位置信息；

根据所述位置信息从所述短文本数据中选取与预设的位置对应的样本文本数据；

分别对选取的样本文本数据进行分词处理，计算所述样本文本数据中各词的权重；

根据所述样本文本数据中各词的权重构建所述样本文本数据对应的词—样本文本矩阵；

对所述词—样本文本矩阵进行矩阵分解，根据分解得到的样本文本—事件矩阵确定所述各样本文本所属的事件。

本发明提供了一种基于短文本数据的区域事件检测设备，包括：

获取模块，用于获取待处理的短文本数据，所述短文本数据中包括位置信息；

选取模块，用于根据所述位置信息从所述短文本数据中选取与预设的位置对应的样本文本数据；

运算模块，用于分别对选取的样本文本数据进行分词处理，计算所述样本文本数据中各词的权重；

构建模块，用于根据所述样本文本数据中各词的权重构建所述样本文本数据对应的样本文本—词矩阵；

所述运算模块，还用于对所述样本文本—词矩阵进行矩阵分解，根据分解得到的样本文本—事件矩阵确定所述各样本文本所属的事件。

本发明提供的基于短文本数据的区域事件检测方法和设备，通过获取待处理的短文本数据，所述短文本数据中包括位置信息；根据所述位置信息从所述短文本数据中选取与预设的位置对应的样本文本数据；分别对选取的样本文本数据进行分词处理，计算所述样本文本数据中各词的权重；根据所述样本文本数据中各词的权重构建所述样本文本数据对应的样本文本—词矩阵；对所述样本文本—词矩阵进行矩阵分解，根据分解得到的样本文本—事件矩阵确定所述各样本文本所属的事件。从而克服了现有技术中无法对短文本数据信息进行有效的处理以进行归纳和分类的问题。

附图说明

图1为本发明提供的基于短文本数据的区域事件检测方法实施例一的流程示意图；

图2A为本发明提供的基于短文本数据的区域事件检测方法实施例二对应S120的流程示意图；

图2B为本发明提供的基于短文本数据的区域事件检测方法实施例二对应S140的流程示意图；

图3为本发明提供的基于短文本数据的区域事件检测设备实施例一的结构示意图。

具体实施方式

图1为本发明提供的基于短文本数据的区域事件检测方法实施例一的流程示意图。如图1所示，该方法包括：

S100，获取待处理的短文本数据，所述短文本数据中包括位置信息。

本实施例提供的方法可以适用于对互联网上的各种应用所产生的短文本信息中的海量数据进行区域事件分类处理，尤其适用于诸如微博等社交网络，该方法可以由一短文本数据的处理设备来执行，该处理设备例如可以为某中应用的管理平台。