[发明专利]一种文本建模模型的训练方法、文本建模方法及装置

权利要求书

1.一种文本建模模型的训练方法，其特征在于，包括：

获取待训练的文本数据，并提取所述文本数据的词频向量；

将所述词频向量输入到预先构建的深度生成模型中，根据预设训练方法逐层预训练，得到各层的模型参数，所述预设训练方法包括：基于退火算法的RBM训练方法；

对所述模型参数进行参数调优，得到所述模型参数的全局最优值；

将所述全局最优值对应的深度生成模型，确定为文本建模模型；

其中，所述文本建模模型用于接收输入文本的词频向量，并生成所述词频向量对应在输入文本中的高维语义地址，所述高维语义地址与高维语义特征相关。

2.根据权利要求1所述的方法，其特征在于，所述预先构建的深度生成模型自下而上包括：一个可见层、至少一个隐层和一个地址层；所述将所述词频向量输入到预先构建的深度生成模型中，根据预设训练方法逐层预训练，得到各层的模型参数，包括：

将所述深度生成模型自下而上划分为多个有交叠关系的RBM结构；

对所述多个有交叠关系的RBM结构的第一个RBM结构，使用所述词频向量作为输入数据，利用受限泊松模型学习其模型参数w1；

对所述多个有交叠关系的RBM结构的其余RBM结构，自下而上使用前一个RBM结构中的隐层在训练数据上的激活概率作为输入，基于退火算法的RBM训练方法逐层预训练，得到各层的模型参数wn，1＜n≤N，N为所述深度生成模型所包含的有交叠关系的RBM结构的总数量。

3.根据权利要求2所述的方法，其特征在于，所述将所述深度生成模型自下而上划分为多个有交叠关系的RBM结构，包括：

将所述可见层和自下而上的第一个隐层组成的无向的两层网络结构，标记为一个RBM结构；

将自下而上的最后一个隐层和所述地址层组成的无向的两层网络结构，标记一个RBM结构；

对所有的隐层，自下而上以两个隐层为步进单位，每两个隐层组成的无向的两层网络结构，标记一个RBM结构。

4.根据权利要求2所述的方法，其特征在于，所述模型参数w1包括权重矩阵w¹、可见层的实值偏置向量b¹和隐层的实值偏置向量c¹，所述利用受限泊松模型学习其模型参数w1包括：通过以下步骤得到参数w¹，包括：

将第一个RBM结构中的可见层记为v，隐层记为h¹，可见层v包含m个可见单元，隐层h¹包含n个隐层单元；

输入可见层v，计算隐层向量h¹中每个单元的值：

其中σ(x)＝1/(1+e^-x)是Sigmoid激励方程；其中，v_i是可见层单元i的输入值，b_i是可见层单元i的实值偏置项，w_ij表示可见单元i和隐层单元j之间连接的权重，1≤i≤m，1≤j≤n；

为隐层h¹赋随机值，为每个可见层单元v_i重建泊松率：

表示文档的总长度，c_j为隐层单元j的实值偏置项；

将公式(2)计算得到的P值代回到公式(1)中，重新计算隐层向量h¹中每个单元的值；

可见层单元i和隐层单元j之间连接的权重根据公式(3)和(4)进行更新：

其中η是学习率，表示数据分布中，可见层单元i和隐层单元j同时不为0的次数，表示重建分布中，可见层单元i和隐层单元j同时不为0的次数。

5.根据权利要求1所述的一种文本建模模型的训练方法，其特征在于，所述退火转换的RBM训练方法包括：

初始化参数梯度为0；

初始化每个马尔科夫链的当前状态为随机向量；

正阶段，对于所有的可见层输入文本数据，从中抽样隐层特征，得到正阶段样本；

负阶段，马尔科夫链从较低温度向较高温度不断抽样，从较高温度向较低温度不断抽样，判定是否接受新样本；若否，使用正阶段样本，若是，使用新样本，作为负阶段样本；

计算梯度，根据所述正阶段样本和所述负阶段样本计算梯度。