[发明专利]一种数据提取方法

说明书

本发明提供一种数据提取方法，所述数据包括一类数据和二类数据，所述一类数据为直接发布的数据，所述二类数据为针对一类数据的评论数据，包括：获取数据集合，所述数据集合包括一类数据和二类数据；对所述数据集合进行预处理以得到数据网络集合{d_i}，所述数据网络集合中的数据网络元素以d_i＝{V,E}的形式记录，其中V为用户标识，E代表一个用户标识发布的二类数据对另一个用户标识发布的一类数据的评论关系，每个顶点均包括用户标识、标题和内容三部分数据；根据所述数据网络集合中的顶点的标题获取主题向量集；获取数据网络集合中各个顶点的标识与所述主题向量集中各个向量的相关度，得到相关度集合；根据所述相关度集合进行数据提取。本发明能够有效提取目标用户和与主题相关的重要数据。

技术领域

本发明涉及通信领域，尤其一种数据提取方法。

背景技术

在数据分析领域，经常需要对数据进行清洗和提取。在常见互动性网站中，比如知乎，百度贴吧存在大量的用户互评类数据，这类数据能够反应用户的个人偏好，也能够用于研究时事热点和社会现象，存在较多的社会信息，能够被广泛的应用于广告目标用户研究，热点问题研究，舆情监督等各个领域。但是现有技术中缺乏对于这类数据的有效清洗和科学分析方法，从而能够得到的信息有限。

发明内容

为了解决上述技术问题，本发明提供一种数据提取方法。

本发明是以如下技术方案实现的：

一种数据提取方法，所述数据包括一类数据和二类数据，所述一类数据为直接发布的数据，所述二类数据为针对一类数据的评论数据，包括：

获取数据集合，所述数据集合包括一类数据和二类数据；

对所述数据集合进行处理以得到数据网络集合{d_i}，所述数据网络集合中的数据网络元素以d_i＝{V,E}的形式记录，其中V为用户标识，E代表一个用户标识发布的二类数据对另一个用户标识发布的一类数据的评论关系，每个顶点均包括用户标识、标题和内容三部分数据；

根据所述数据网络集合中的顶点的标题获取主题向量集；

获取数据网络集合中各个顶点的标识与所述主题向量集中各个向量的相关度，得到相关度集合；

根据所述相关度集合进行数据提取。

进一步地，所述根据所述相关度集合进行数据提取包括：

为所述主题向量集中的各个主题生成数据容器，每个主题有唯一对应的数据容器，所述数据容器用于收集与所述主题对应的数据；

获取待提取顶点的相关度集合；

判断所述相关度集合中是否存在目标相关度，所述相关度为值大于第一预设阈值的相关度，若存在，则将目标相关度提取出来；

获取所述目标相关度对应的主题，将所述待提取顶点的加入所述主题对应的数据容器之中；

获取下一个待提取顶点，若所述下一个待提取顶点不为空，则重复执行步骤：获取待提取顶点的相关度集合，否则，流程结束。

进一步地，所述根据所述相关度集合进行数据提取包括：

获取待提取顶点的相关度集合；

判断所述相关度集合中是否存在目标相关度，所述相关度为值大于第二预设阈值的相关度，若存在，则判定所述待提取顶点为目标顶点，并将所述目标顶点提取出来；

获取下一个待提取顶点，若所述下一个待提取顶点不为空，则重复执行步骤：获取待提取顶点的相关度集合，否则，将提取出的全部目标顶点对应的用户标识提取出来，得到用户集合。

进一步地，所述据所述数据网络集合中的顶点的标题获取主题向量集之前包括：