[发明专利]基于狄式过程的卡尔曼滤波词向量学习方法

说明书

一种基于狄式过程的卡尔曼滤波词向量学习方法，所述方法包括：对语料进行训练和预处理，生成LDS语言模型系统，对系统参数进行初始化，假设过程噪声满足正态分布，定义聚类θ_t＝(μ_t,∑_t)，μ_t为语料库中词t出现的频率，计算θ_t的狄利克雷先验分布，通过卡尔曼滤波推导和Gibbs抽样估计计算后验分布，利用MCMC抽样算法抽取备选聚类，计算备选聚类的选择概率，并选择所述概率值最高的备选聚类作为θ_t，计算所述聚类的最小均方误差估计值，将计算结果代入LDS语言模型，通过EM算法训练模型，使模型参数达到稳定，将预处理好的语料输入训练好的LDS语言模型，通过卡尔曼滤波器一步更新公式进行计算隐含向量表示。

技术领域

本发明涉及自然语言处理领域，具体而言，涉及基于狄式过程的卡尔曼滤波词向量学习方法。

背景技术

自然语言处理(NLP)相关任务中，要将自然语言交给机器学习中的算法来处理，通常需要首先将语言数学化，因为机器只认数学符号。向量是人把自然界的东西抽象出来交给机器处理的东西，词向量就是用来将语言中的词进行数学化的一种方式。

一种最简单的词向量表示方式是One-hot Representation，就是用一个很长的向量来表示一个词，向量的长度为词典的大小，向量的分量只有一个1，其他全为0，1的位置对应该词在词典中的位置。但这种词词向量表示有两个缺点：(1)容易受维数灾难的困扰，尤其是将其用于Deep Learning的一些算法时；(2)不能很好地刻画词与词之间的相似性。

另一种词向量表示方式是Distributed Representation，它最早是Hinton于1986年提出的，可以克服One-hot Representation的缺点。其基本原理是：通过训练将某种语言中的每一个词映射成一个固定长度的短向量(这里的“短”是相对于One-hotRepresentation的“长”而言的)，将所有这些向量放在一起形成一个词向量空间，而每一向量则为该空间中的一个点，在这个空间上引入“距离”，则可以根据词之间的距离来判断它们之间(词法、语义上)的相似性。

由于文本数据自身的很多特点，例如近义词和多义词现象，因此表示文本数据的特征向量的维度往往较高，但这些高维特征向量未必都对分类有益，反而会导致特征稀疏，带来算法效率的降低甚至分类效果的下降。因此有一个好的词向量表示方法具有重要意义。

为了得到基于上下文的词向量，高斯线性动态系统(LDS)被用于描述一个语言模型。此方法的优点是能够充分利用当前词的上下文。这个模型经过大量的未被标记的语料库学习，每个词的隐含向量表示能够通过卡尔曼滤波器推断。假设词典为V，语料库长度为T。用表示词t的指示向量，维度为|V|。，假如词t在词典中的第i个位置，则向量的第i个值不为零。定义μ_i为语料库中词t出现的频率。

LDS模型为：

其中x_t表示要学习的词的隐含向量表示，w_t表示观测值，η_t和ξ_t表示系统的过程噪声和测量噪声，A和C表示状态转移矩阵和观测矩阵。定义(μ是μ_i中的一个元素)，w_t的均值为零。定义期望值函数E表示求期望函数。

将一句话中位于第i个位置的词与另外一个位于第j个位置的词之间相差的词数量定义为滞后，当滞后为k时，μ_i和在长度为T的语料库中估计值为：

其中E[]代表求期望值，是指关于x对求期望值。