[发明专利]一种数据流主题特征提取方法、装置、设备及存储介质

摘要

本发明所提供的数据流主题特征提取方法通过使用词汇表的单词数目不固定的LDA模型，通过使其主题单词分布服从原子数目不固定的狄利克雷过程，而非原子数目固定的狄利克雷分布，使得新模型在遇到未在词汇表中出现的新单词时可以将其加入到词汇表中并继续算法的执行，通过不断地遇到并添加新的单词，实现信息充分利用的同时没有增加内存处理压力，使LDA模型中的词汇表与需要处理的语料更加贴合，提升了模型的精度，增强了在线LDA算法处理数据流的能力。本发明还公开了一种数据流主题特征提取装置、设备及一种可读存储介质，具有上述有益效果。

主权项

1.一种数据流主题特征提取方法，基于在线LDA算法，其特征在于，包括：将接收到的数据流按照到达时间顺序组织成若干批次语料，并确定当前待处理批次语料；对所述待处理批次语料中包含的单词进行扫描识别，得到待处理单词；将所述待处理单词与词汇表中的单词进行比对，判断所述待处理单词中是否包括所述词汇表中不存在的新单词；如果有，将所述新单词添加至所述词汇表中，得到更新后的词汇表；根据折棒构造为所述待处理单词分配各主题概率，得到初始主题概率；运行新LDA模型根据新词汇表对所述初始主题概率进行数据处理，得到各所述待处理单词的主题概率；其中，所述新LDA模型为基于置信传播框架，服从狄利克雷过程的LDA模型。