[发明专利]数据处理方法及装置

摘要

本发明实施例提供一种数据处理方法及装置，所述方法包括：获取资讯，将资讯加入资讯集合中；将资讯集合中的一篇资讯作为待处理文档；若均为未处理文档，根据预设规则将待处理文档映射成对应的特征向量；否则，根据预设规则将待处理文档映射成对应的特征向量，根据获取待处理文档的第一时间以及待处理文档中事件发生的第二时间，分别计算待处理文档对应的特征向量与话题模型集合中的各个已检测话题对应的向量的相似度，选取最大相似度值进行判断；将待处理文档的下一篇文档作为待处理文档，直到资讯集合中的全部资讯全部处理完毕。所述方法考虑了获取待处理文档的第一时间以及待处理文档中事件发生的第二时间，提高了话题模型的精确度。

主权项

1.一种数据处理方法，其特征在于，所述方法包括：获取资讯，将所述资讯加入资讯集合中；将所述资讯集合中的一篇资讯作为待处理文档；若所述资讯集合中的资讯均为未处理文档，根据预设规则将待处理文档映射成对应的特征向量，将所述特征向量作为已检测话题对应的向量，加入话题模型集合；若所述资讯集合中至少有一篇资讯为已处理文档，根据所述预设规则将待处理文档映射成对应的特征向量，根据获取待处理文档的第一时间以及所述待处理文档中事件发生的第二时间，分别计算所述待处理文档对应的特征向量与所述话题模型集合中的各个已检测话题对应的向量的相似度，选取最大相似度值进行判断；若所述最大相似度值大于修正阈值，则所述待处理文档与所述最大的相似度值对应的已检测话题相似，更新所述最大的相似度值对应的已检测话题对应的向量；若所述最大的相似度值小于动态阈值，则根据预设规则将待处理文档映射成对应的特征向量，将所述特征向量作为已检测话题对应的向量，加入话题模型集合；将所述待处理文档的下一篇文档作为待处理文档，直到资讯集合中的全部资讯全部处理完毕；其中，所述预设规则包括：将所述待处理文档进行分词处理；根据第一公式，获取每个分词对应的第一参数值，根据所述第一参数值的大小，选择第一预设个数的分词加入待选择特征词集合；根据第二公式，获取所述待选择特征词集合中每个分词对应的第二参数值，根据所述第二参数值的大小，选择第二预设个数的分词作为特征词；计算待处理文档对应的所述特征词的权重，将所述权重作为待处理文档映射成对应的特征向量；其中，所述第一公式为如下公式：N表示训练集中的文档数量，A表示分词t出现在类别c_i中的文档数量；B表示分词t出现在非类别c_i中的文档数量；C表示分词t没有出现在类别c_i中的文档数量；D表示分词t没有出现在非类别c_i中的文档数量；CHI(t，c_i)即每个分词对应的第一参数值；f(TF_ci)为修正因子；其中，所述第二公式采用LDA算法中的计算公式：表示词汇w分配给主题j的频数，表示分配给主题j的所有词汇数，表示文本d中分配给主题j的词汇数，n^(d)表示文本d中所有分配主题的词汇数，W为固定词汇表中的词汇总数，T表示主题数目，α和β作为多项式分布φ和θ的共轭先验。