[发明专利]一种数据提取方法

权利要求书

1.一种数据提取方法，所述数据包括一类数据和二类数据，所述一类数据为直接发布的数据，所述二类数据为针对一类数据的评论数据，其特征在于，包括：

获取数据集合，所述数据集合包括一类数据和二类数据；

对所述数据集合进行处理以得到数据网络集合{di}，所述数据网络集合中的数据网络元素以di＝{V,E}的形式记录，其中V为用户标识，E代表一个用户标识发布的二类数据对另一个用户标识发布的一类数据的评论关系，每个顶点均包括用户标识、标题和内容三部分数据；

根据所述数据网络集合中的顶点的标题获取主题向量集；

获取数据网络集合中各个顶点的标识与所述主题向量集中各个向量的相关度，得到相关度集合；

根据所述相关度集合进行数据提取；

所述根据所述相关度集合进行数据提取包括：

为所述主题向量集中的各个主题生成数据容器，每个主题有唯一对应的数据容器，所述数据容器用于收集与所述主题对应的数据；

获取待提取顶点的相关度集合；

判断所述相关度集合中是否存在目标相关度，所述相关度为值大于第一预设阈值的相关度，若存在，则将目标相关度提取出来；

获取所述目标相关度对应的主题，将所述待提取顶点的加入所述主题对应的数据容器之中；

获取下一个待提取顶点，若所述下一个待提取顶点不为空，则重复执行步骤：获取待提取顶点的相关度集合，否则，流程结束；

所述根据所述相关度集合进行数据提取包括：

判断所述相关度集合中是否存在目标相关度，所述相关度为值大于第二预设阈值的相关度，若存在，则判定所述待提取顶点为目标顶点，并将所述目标顶点提取出来；

获取下一个待提取顶点，若所述下一个待提取顶点不为空，则重复执行步骤：获取待提取顶点的相关度集合，否则，将提取出的全部目标顶点对应的用户标识提取出来，得到用户集合；

所述据所述数据网络集合中的顶点的标题获取主题向量集之前包括：

根据所述数据网络集合进行数据清洗以得到数据清洗结果，并对清洗后的数据重新生成数据网络集合{di}；

所述数据清洗包括：

对每个数据网络元素的各个顶点进行出度统计；

获取每个数据网络元素中出度小于2的目标顶点；

删除所述目标顶点；

对每个数据网络元素中各个顶点的进行入度统计；

对每个数据网络元素中各个顶点对应的用户在所述数据网络元素的范围内进行重视度评估；

某个顶点对应的用户的重视度评估包括：

获取其它用户对所述用户的负评度，所述负评度根据公式计算而得，其中θ^j_t表示某个其它用户对所述用户的评论中某个负评词的权重，sum j表示所述评论中出现负评词的总数；

具体地，负评词及其权重可以预先设置，并记录在负评词权重表中； 比如负评词“白痴”对应权重0.9，负评词“小傻瓜”对应权重0.4； 权重越重，则负评词的负评语气越激烈；计算所述用户的重视度；

具体地，计算公式如下

其中κ1,κ2是预设参量，其值与清洗的程度相关，可以由程序员进行任意设置； input,output为所述顶点的入度和出度，sum(neg≥0.45)是对所述用户负评度大于0.45的其它用户的负评度的总和值，sum(i)是对所述用户进行评论的全部其它用户的数量；

根据所述重视度评估的结果和所述入度判断所述顶点是否为目标顶点；

具体地，若所述顶点的入度为0，或者，所述顶点的入度非零并且重视度小于预设阈值，则所述顶点被判定为目标顶点；

若是，则删除所述目标顶点；

所述主题向量集可以被标识为{topici}，其中topici＝{(ti1,pi1)……(tin,pin)}，其中tij为主题topici中可能出现的关键词，Pij为所述关键词在该主题中出现的概率；

相关度的获取方法包括基于公式计算某个顶点与某个主题向量的相关度。

2.根据权利要求1 所述方法，其特征在于：

对每个数据网络元素中各个顶点的进行入度统计；

对每个数据网络元素中各个顶点对应的用户在所述数据网络元素的范围内进行重视度评估；

根据所述重视度评估的结果和所述入度判断所述顶点是否为目标顶点；

若是，则删除所述目标顶点。