[发明专利]一种跨语言话题检测方法及系统

摘要

本发明公开了一种跨语言话题检测方法及系统。其中，该方法包括构建第一语言和第二语言的可比语料库；基于可比语料库分别构建第一语言话题模型和第二语言话题模型；在第一语言话题模型和第二语言话题模型生成的文档‑话题概率分布的基础上通过相似度判定，以确定第一语言话题和第二语言话题的对齐，从而实现跨语言话题检测。该系统包括：第一生成模块，第二生成模块和检测模块。本发明提供的一种跨语言话题检测方法及系统，提高了跨语言文档相似度计算的准确率，通过基于LDA的话题模型构建，利用跨语言话题对齐实现了跨语言话题检测。

主权项

1.一种跨语言话题检测方法，其特征在于，包括以下步骤：构建第一语言和第二语言的可比语料库；基于所述第一语言和第二语言的可比语料库分别构建第一语言话题模型和第二语言话题模型；在所述第一语言话题模型和第二语言话题模型生成的文档‑话题概率分布的基础上通过相似度判定；将事先通过文本相似度计算构建出的m对第一语言和第二语言可比新闻文档，作为索引文档集；对于第一语言话题t_i，将t_i映射到索引文档集上，得到t_i的向量表示(d_i1,d_i2,d_i3,…,d_im)，则t_i的索引向量为对于第二语言话题t_j，将t_j映射到索引文档集上，得到t_j的向量表示(d'_j1,d'_j2,d'_j3,…,d'_jm)，则t_j的索引向量为得到t_i和t_j的索引向量后，采用一种或多种相似度计算方法来计算向量和的相关性，保留一种或多种相似度计算方法的最大的相似度；所述一种或多种相似度计算方法是余弦相似度算法、欧氏距离算法、Hellinger距离算法和KL距离算法中的一种或多种；确定第一语言话题和第二语言话题的对齐，从而实现跨语言话题检测。