[发明专利]一种基于稀疏权值神经网络的语义分类方法、系统和介质

说明书

本发明提出一种基于稀疏权值神经网络的语义分类方法、系统和介质，包括：设置样本集，将所述样本集中的文本序列转换成词向量，根据所述词向量计算得到文本向量；对所述样本集进行标注，根据已标注样本，创建样本分类训练目标；创建神经网络分类模型，计算所述样本分类训练目标的输出概率，并根据所述输出概率构造所述文本分类训练目标的最大似然函数；对所述神经网络分类模型的输入层权重进行稀疏处理，获取稀疏正则函数；将所述稀疏正则函数加入所述最大似然函数，构建所述神经网络的目标函数，并根据所述目标函数对所述神经网络分类模型进行训练，获取语义分类神经网络模型；本发明可以提高分类算法的计算速度和泛化能力。

技术领域

本发明涉及自然语言处理领域，尤其涉及一种基于稀疏权值神经网络的语义分类方法、系统和介质。

背景技术

在自然语言处理领域，处理的数据集往往为高维或超高维数据集，且这些高维数据集通常具有复杂的结构。虽然数据集维度足够大，但实际只有小部分变量与所要预测的输出变量相关，其余的大部分变量为噪声变量。而样本数量过小，直接采用传统最小二乘法等传统的建模工具，得到的模型往往存在数值计算准确度低的问题，因此，变量的选择显得尤为重要。套索模型是第一种利用正则化方法进行变量选择的模型，然而变量往往具有组结构，套索模型没有将变量的组结构作为先验信息，局限于变量水平上的稀疏性，只有变量选择能力，缺乏组选择能力。

发明内容

鉴于以上现有技术存在的问题，本发明提出一种基于稀疏权值神经网络的语义分类方法、系统和介质，主要解决问题现有文本分类算法泛化能力不足的问题。

为了实现上述目的及其他目的，本发明采用的技术方案如下。

一种基于稀疏权值神经网络的语义分类方法，包括：

设置样本集，将所述样本集中的文本序列转换成词向量，根据所述词向量计算得到文本向量；

对所述样本集进行标注，根据已标注样本，创建样本分类训练目标；

创建神经网络分类模型，计算所述样本分类训练目标的输出概率，并根据所述输出概率构造所述文本分类训练目标的最大似然函数；

对所述神经网络分类模型的输入层权重进行稀疏处理，获取稀疏正则函数；

将所述稀疏正则函数加入所述最大似然函数，构建所述神经网络的目标函数，并根据所述目标函数对所述神经网络分类模型进行训练，获取语义分类神经网络模型。

可选地，所述计算文本向量包括：

构造与所述词向量关联的核函数，并根据所述核函数创建对应词向量的径向基；

构造径向基与所述文本向量的函数关系，将所述词向量输入所述所述径向基与所述文本向量的函数关系中，并将计算结果映射到[-1,1]区间，获取文本向量。

可选地，所述径向基包括：

所述径向基与所述文本向量的函数关系包括：

其中，w为文本向量，si为第i个词构成的径向基，xi为所述文本序列中第i个词的词向量，cj为第j个径向基的中心向量。

可选地，所述计算所述样本分类训练目标输出概率，包括：

对样本集中的文本序列进行分词处理；

将将所述分词处理得到的词语转换为词向量；

将所述计算得到的文本向量输入所述神经网络分类模型，获取所述神经网络分类模型的输出值；

根据所述神经网络分类模型的输出值判断样本分类训练目标的输出概率。

可选地，所述最大似然函数包括：