[发明专利]一种数据流主题特征提取方法、装置、设备及存储介质

权利要求书

1.一种数据流主题特征提取方法，基于在线LDA算法，其特征在于，包括：

将接收到的数据流按照到达时间顺序组织成若干批次语料，并确定当前待处理批次语料；

对所述待处理批次语料中包含的单词进行扫描识别，得到待处理单词；

将所述待处理单词与词汇表中的单词进行比对，判断所述待处理单词中是否包括所述词汇表中不存在的新单词；

如果有，将所述新单词添加至所述词汇表中，得到更新后的词汇表；

根据折棒构造为所述待处理单词分配各主题概率，得到初始主题概率，所述折棒构造的狄利克雷分布为二参数分布；

运行新LDA模型根据新词汇表对所述初始主题概率进行数据处理，得到各所述待处理单词的主题概率；其中，所述新LDA模型为基于置信传播框架，服从狄利克雷过程的LDA模型；

所述运行新LDA模型根据新词汇表对所述初始主题概率进行数据处理，得到各所述待处理单词的主题概率，包括：

根据新词汇表将所述初始主题概率代入公式2进行数据处理，得到各所述待处理单词的主题概率；

其中，所述公式2具体为：

μ_w,d(k)是文本d中单词w属于主题k的概率；是在主题k的单词分布中，除了文本d外其他所有文本中单词w的概率；是文本d中除了单词w外，其它单词属于主题k的计数；是在主题k的单词分布中，除了文本d中的单词w外，其他所有单词属于主题k的概率，其中，α、β是狄利克雷分布的参数。

2.如权利要求1所述的数据流主题特征提取方法，其特征在于，所述根据折棒构造为所述待处理单词分配各主题概率，得到初始主题概率，包括：

根据公式1为所述待处理单词分配各主题概率，得到初始主题概率；

其中，所述公式1具体为：

其中，LOC(w,k)是定位单词w在主题k的单次分布中的位置的函数，WORD(j,k)是主题k的单词分布中坐标为j的单词，φ_w(k)为主题k中，单词w对应的概率，V_w(k)为主题k的每个单词对应的φ_w(k)只对应一个折棒产生的权重系数，V_WORD(j,k)(k)为主题k的单词分布中坐标为j的单词对应的一个折棒产生的权重系数。

3.一种数据流主题特征提取装置，基于在线LDA算法，其特征在于，包括：

语料确定单元，用于将接收到的数据流按照到达时间顺序组织成若干批次语料，并确定当前待处理批次语料；

单词识别单元，用于对所述待处理批次语料中包含的单词进行扫描识别，得到待处理单词；

比对单元，用于将所述待处理单词与词汇表中的单词进行比对，判断所述待处理单词中是否包括所述词汇表中不存在的新单词；

词汇表更新单元，用于当所述待处理单词中包括所述词汇表中不存在的新单词时，将所述新单词添加至所述词汇表中，得到更新后的词汇表；

折棒构造单元，用于根据折棒构造为所述待处理单词分配各主题概率，得到初始主题概率，所述折棒构造的狄利克雷分布为二参数分布；

LDA处理单元，用于运行LDA模型根据新词汇表对所述初始主题概率进行数据处理，得到各所述待处理单词的主题概率；其中，所述LDA模型为基于置信传播框架，服从狄利克雷过程的LDA模型；

所述LDA处理单元具体用于：

根据新词汇表将所述初始主题概率代入公式2进行数据处理，得到各所述待处理单词的主题概率；

其中，所述公式2具体为：

μ_w,d(k)是文本d中单词w属于主题k的概率；是在主题k的单词分布中，除了文本d外其他所有文本中单词w的概率；是文本d中除了单词w外，其它单词属于主题k的计数；是在主题k的单词分布中，除了文本d中的单词w外，其他所有单词属于主题k的概率，其中，α、β是狄利克雷分布的参数。