[发明专利]多层级主题向量空间的构建方法、装置、设备和存储介质

说明书

本发明涉及一种多层级主题向量空间的构建方法、装置、设备和存储介质。该构建方法包括从语料库中提取全局词共现矩阵；对全局词共现矩阵进行建模，并生成不同层级的主题库，根据不同层级的主题库分别生成不同层级的主题相关矩阵；对于每一层级的所述主题相关矩阵，构建主题向量空间。因此，本申请能够将主题表示成任意维度的主题向量，避免了LDA等算法的向量大小只能是字典维度的缺陷；同时，基于对噪声词的建模，能够减弱噪声词对聚类的影响。

技术领域

本申请涉及语义分析技术领域，尤其是涉及一种多层级主题向量空间的构建方法、装置、设备和存储介质。

背景技术

常用的向量化方法是将文本表示为一个实值元素(二元值、词频值或TF-IDF值)构成的向量。这类算法虽然简单，但是它们将词当作独立个体进行处理，没有考虑词之间的语义关系，影响了分类的准确度。为了克服这个缺点，人们提出了基于主题的向量化算法，潜在语义索引(Latent Semantic Indexing，LSI)算法，利用了奇异值分解降低了文档-词矩阵的维度。之后，LSI算法的变体概率潜在语义分析(Probabilistic Latent SemanticAnalysis，PLSA)算法引入了文本的生成模型方法，定义了文本-词的概率生成模型。但是，由于模型参数过多，该PLSA算法会随着语料库中文本数目增多而过拟合。最后，一个较为成熟的主题模型，潜在狄利克雷分布(Latent Dirichlet Allocation，LDA)方法被提出了。与PLSA算法相比，LDA算法对文本、主题、词的概率分布加了一些具体的限制，避免了过拟合现象。尽管上述的主题模型都能够提取出文本中的潜在特征，但是存在以下缺点：LDA等算法的向量大小只能是字典维度，其主题库中的主题无法用一个低维度(即层级)实值向量表示，难以直接定义主题与主题之间的数值距离。同时，由于噪声词的干扰，提取出的主题也会包含很多噪声词。

发明内容

基于本申请主要解决的技术问题是提供一种多层级主题向量空间的构建方法、装置、设备和存储介质，能够将主题表示成任意维度的主题向量，避免了LDA等算法的向量大小只能是字典维度的缺陷，同时减少了噪声词对主题提取的影响。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种多层级主题向量空间的构建方法，包括：

从语料库中提取全局词共现矩阵；

对全局词共现矩阵进行建模，并生成不同层级的主题库，根据不同层级的主题库分别生成不同层级的主题相关矩阵；

对于每一层级的所述主题相关矩阵，构建主题向量空间。

可选的，所述从语料库中提取全局词共现矩阵的步骤包括：

通过滑动窗口机制对所述语料库进行遍历，得到n×n的全局词共现矩阵A＝{A_i,j}，其中，n是语料库的字典的维度，A_i,j表示了词i与词j的共现频率。

可选的，所述生成不同层级的主题库，根据不同层级的主题库分别生成不同层级的主题相关矩阵的步骤包括：

通过聚类生成不同层级的主题库，并通过最大后验准则生成不同层级的主题相关矩阵。

可选的，所述通过聚类生成不同层级的主题库，并通过最大后验准则生成不同层级的主题相关矩阵的步骤包括：

对所述全局词共现矩阵进行聚类，生成一层级的主题库，并通过最大后验准则生成一层级的主题相关矩阵；

对所述一层级的主题相关矩阵进行聚类，生成下一层级的主题库，并通过最大后验准则生成下一层级的主题相关矩阵，以此类推，不断地进行迭代，以生成不同层级的主题相关矩阵。

可选的，还包括：

对预设的噪声构建模型，形成噪声模型，在对所述全局词共现矩阵聚类之时，通过所述噪声模型对所述全局词共现矩阵进行噪声处理。