[发明专利]一种采用稀疏编码的自然语言语义深度解析算法

说明书

技术领域

本发明涉及神经网络对自然语言处理的领域，尤其涉及采用深置信度神经网络和稀疏编码方法，对自然语言进行语义深度解析的一种采用稀疏编码的自然语言语义深度解析算法。

背景技术

现如今，自然语言语义解析在各个领域的应用十分广泛。对于文本特征选择时，存在语义表征不明确的问题，这主要是由于文本中词语间出现歧义或近义而难以辨析所导致。这一问题的解决与否几乎决定了自然语言处理的效果。由于稀疏编码算法是一种无监督学习方法，通过寻找一组“超完备”基向量来更高效地表示样本数据。同时其还具备编存储能力大，具有联想记忆能力，计算简便，使自然信号的结构更加清晰的优点。所以本专利采用稀疏编码的方式处理现存的这一问题，在本专利中采用稀疏编码的方法将作为样本数据的词与词间的向量空间距离拉大，使原本有相近或歧义含义的词间的细微差别扩大化，有效的将具有歧义或近义的词分开，使得文本中的整体语义更加符合文本作者的真实意图，为提高处理大量自然语言语义解析的准确性提供了便利。

发明内容

本发明的目的就在于为了解决上述问题而提供一种采用稀疏编码的自然语言语义深度解析算法。

本发明通过以下技术方案来实现上述目的：

本发明包括以下步骤：

1)采用基于统计的分词方法。在训练文本中，通过计算字x与字y的组合度大小，从而来判断字x与字y是否是同一个单词。其组合度的计算公式如下：

其中，H_xy为字x与字y的组合度大小，k为文本中xy组合的个数，n1为文本中字x的个数，n2为文本中字y的个数，N为文本的总字数。

2)采用word 2vec对分好的词组进行转化。将分好词的文本语料作为word2vec的输入文件并指定合适的训练参数，进行中文词向量的训练，得到最佳的词语对应的词向量。

3)搭建DBN神经网络，将转换好的词向量输入DBN神经网络中进行稀疏编码神经网络的训练，得到训练好的稀疏编码器。稀疏编码将多维的数据进行线性分解，进行线性转换，表达如下：

S＝MX (2)

其中，M为稀疏变换矩阵，其每一个行向量类似于小波变换中的小波基；S为线性转换后的稀疏分量，满足稀疏分布的要求。

4)通过步骤3)的训练，将训练文本的词向量序列输入这个训练好的稀疏编码器中，得到文本的稀疏特征。

5)将步骤4)中得到的稀疏特征进行分类和解析。搭建DBN神经网络，将稀疏特征输入DBN中，对其进行训练，得到语义的解析结果。这个过程包括以下算法：

搭建深度置信神经网络DBN，利用TF-IDF方法选取特征项，经过受限玻尔兹曼机RBM网络预训练和反向传播BP神经网络微调来训练DBN网络模型，拟合训练数据集的分布，重构出测试数据集的分类模型。

其条件分布可表示为：

其中，σ＝1/(1+e^-x)，为sigmoid激活函数。

RBM作为一个系统，其能量函数形式如下：

其中，θ＝(W,a,b)是RBM的参数。

基于能量函数，可得到(v,h)的联合分布概率为：

p(v,h|θ)＝1/(Z(θ))e^-E(v,h|θ) (6)

其中，Z(θ)为归一化因子，为所有可视层和隐含层概率的和，即：

p(v,h|θ)对h的边缘分布为：

RBM采用迭代的方式进行训练，求出参数θ＝(W,a,b)的最优值。利用最大似然学习可得参数的更新公式如下：

Δa_i＝ε(<v_i>_data-<v_i>_model) (11)

Δb_j＝ε(<h_j>_data-<h_j>_model) (12)

其中，T为输入样本数目；<>_data表示训练集所定义的分布之上的数学期望；<>_model表示初始模型所定义的分布之上的数学期望；ε为学习率。

本发明的有益效果在于：