[发明专利]一种利用局部嵌入话题建模的文本表示方法

权利要求书

1.一种利用局部嵌入话题建模的文本表示方法，所述方法包括以下步骤：

步骤1，根据文本在词空间的欧氏距离选取近邻集；

步骤2，利用近邻集构造局部加权正则项；

步骤2.1，采用径向基核函数(RBF)为不同近邻分配加权系数计算公式如下：

其中，给定一个文本，词分布用X⁽ⁱ⁾表示，X⁽ⁱ⁾的K个近邻表示成S(X⁽ⁱ⁾)＝{…,S^(k),…,S^(K)}，其中S^(k)是第k个较近的近邻且它们有相同的类标签，||X⁽ⁱ⁾-S^(k)||是两个文本之间的平方欧几里得距离，σ是RBF函数的非负的宽度参数，取值范围(0,1]，控制了径向作用的范围；

步骤2.2，利用加权系数，通过计算加权均方误差来近似当前文本X⁽ⁱ⁾的各近邻，正则项表示如下：

在词分布X⁽ⁱ⁾基础上生成话题分布Y⁽ⁱ⁾，然后对话题分布Y⁽ⁱ⁾重构词分布得到Z⁽ⁱ⁾，K为词表示X⁽ⁱ⁾的近邻表示个数，为X⁽ⁱ⁾和S^(k)之间的加权系数；

步骤3，基于正则项，训练文本的话题建模正则化自编码网络；

步骤3.1，利用局部加权正则项，构造样本集的联合损失函数：

其中，n_x为输入和输出的大小，K为词表示X⁽ⁱ⁾的近邻表示个数，为X⁽ⁱ⁾和S^(k)之间的加权系数，W,b,c是随机初始化的模型参数，λ、γ为非负正则超参数，其中项是权重衰减项，用于控制权重W的大小，防止过拟合；

步骤3.2，通过随机梯度下降算法更新训练自编码网络参数W,b和c，使联合损失函数最小；

步骤4，利用自编码网络参数，构造映射函数；

步骤4.1，构造一个观察空间和低维流形空间之间的嵌入映射函数；

步骤4.2，利用编码网络抽取样本外文本的嵌入向量表示。