[发明专利]一种将深度学习与数学分析相结合的句子分类改进方法

摘要

本发明提供了一种将深度学习与数学分析相结合的句子分类改进方法，该方法结合了深度学习和数学分析在处理句子问题中的优势，即长短时记忆网络(LSTM)能将句子中词的词序信息和上下文信息都考虑进去，反词频权重(AWF)能突出词在语料库中的统计特征，通过数学方法将原始向量表示S0减去S0在第一主成成分V1上的投影，得到改进后的句子特征向量表示S1，将S1作为softmax层的输入得到句子分类结果。将这些优势结合在一起，取长补短，有助于句子建模的可靠性得到更好的句子语义特征表示，从而提高句子分类的精度。同样也可用于文本(多个句子)建模的基础，有助于获得更好的文本(多个句子)分类方法。

主权项

1.一种将深度学习与数学分析相结合的句子分类改进方法，其特征在于，包括以下步骤：步骤一、获取句子分类数据集，划分训练集和测试集；步骤二、将维基百科语料库和整个数据集结合在一起进行词向量训练，形成原始词向量表；统计整个维基百科语料库和句子分类数据集中每个词的词频，利用词频生成AWF权重表，以改进词向量表，改进后的词向量表称为AWF词向量表；步骤三、构建句子分类模型。分类模型包含AWF词向量表示层、LSTM网络层、句子特征表示层和softmax层。一个待分类句子，根据句子中的每个词查询AWF词向量表得到改进后的词向量，该模型会将这些词向量输入LSTM网络中，然后利用AWF权重表中的权重和数学分析方法将LSTM网络层的输出进行分析和改进，得到改进后的句子特征表示，然后将句子特征表示输入到softmax层进行分类，得到分类结果；步骤四、将训练数据集输入句子分类模型进行训练，得到分类结果，根据预测分类的概率分布和实际分类的概率分布得到损失函数交叉熵，使用梯度下降法最小化损失函数，利用反向传播算法优化整个模型，继续训练；步骤五：设置迭代次数，经过多次训练迭代，得到最终的分类模型；步骤六：将预进行分类的句子数据集输入最终分类模型，得到分类结果。