[发明专利]一种利用局部嵌入话题建模的文本表示方法

说明书

本发明涉及一种利用局部嵌入话题建模的文本表示方法，属于计算机科学与信息检索技术领域。在该方法中，根据文本在词空间的欧氏距离选取近邻集，构造局部加权正则项，把正则项加入传统的自编码网络进行训练获得模型，进而构造一个显示映射函数，并最终利用编码网络抽取样本外文档的向量表示。本发明引入局部加权正则项，有效地保持文本所在空间的内部固有几何结构。此外，本发明生成了一个观测空间和低维流形之间的显式嵌入映射，提供了一种从样本外文本提取嵌入向量表示的简便方法。

技术领域

本发明涉及一种利用局部嵌入话题建模的文本表示方法，属于计算机科 学与信息检索技术领域。

背景技术

近年来，网络的快速发展使得文本信息比例急速增长，这对信息检索技 术提出了更高的要求。文本表示作为信息检索的关键技术对于提升信息的有 效获取具有重要意义。文本表示是将包含大量字符，非结构化的文档集合， 转化为半结构或结构化的数据结构，进而方便计算机利用聚类，分类技术进 行信息检索。经典的文本表示方法是空间向量模型(VSM)，它将组成文档 集合的所有词汇作为特征，并根据每篇文本中每个特征词的词频信息组成一 个向量来表示该文本。但是这种表示由于孤立地看待每个词汇，忽略了词的 多义和歧义性，因为在实际的信息检索中效果有限。

针对该问题的改进工作包括概率潜层语义分析(PLSA)和隐性狄利克雷 分布(LDA)。它们是一种话题模型，即假设每个文本是由一系列潜在话题 按照一定比例混合生成，其中，每个话题又是通过词语的某种概率分布决定。 和PLSA不同的是，LDA将文本的话题混合比例假设为狄利克雷随机变量来 进行建模，这使得LDA能够定义一种文本级别的概率生成模型，可以有效 解决样本外文本话题建模问题。但是，它们是将文本空间看作欧式空间来挖 掘隐藏话题的，这种做法并没有考虑文档所在的空间的内部固有几何结构， 也没有考虑如何提取样本外文本的话题表示。对于利用局部嵌入话题建模的 文本表示方法，主要解决：①保持文本所在的空间的内部固有几何结构，以 区分文本在词语概率分布上的差异性；②计算观察结果和低维流形之间的嵌 入映射y＝f_Θ(x)。

基于PLSA的话题模型包括：拉普拉斯概率潜层语义索引(LapPLSI)、 局部连续话题建模(LTM)，和区别性话题模型(DTM)。

在PLSA中，n(di,wj)表示单词wj出现在文本di中的次数，n(di,wj)与 K个隐含话题变量{z₁,z₂,···,z_K}中的一个变量有关。形式上，这个生成过程 被描述如下：选择一个概率为P(d_i)的文本d_i；选择一个概率为P(z_k|d_i)的潜层 话题(类)z_k；产生一个概率为P(w_j|z_k)的单词w_j；

1.拉普拉斯概率潜层语义索引(LapPLSI)：

它的目标是最大化正则对数似然函数，如下所示：

λ是正则化参数，W是一个测量基于词共现的文本对的局部相似度的 N×N矩阵。从这些数据点的最邻近曲线，得出边界权重矩阵W，定义 如下：

N_p(d_i)表示这组p的最邻近文本d_i.

2.局部连续话题建模(LTM):

LTM采用KL散度作为一个正则项，等式定义如下：

矩阵W和上面的相同，概率分布P(z|d_i)和P(z|d_j)的KL散度是：