[发明专利]一种基于稀疏权值神经网络的语义分类方法、系统和介质

权利要求书

1.一种基于稀疏权值神经网络的语义分类方法，其特征在于，包括：

设置样本集，将所述样本集中的文本序列转换成词向量，根据所述词向量计算得到文本向量；

对所述样本集进行标注，根据已标注样本，创建样本分类训练目标；

创建神经网络分类模型，计算所述样本分类训练目标的输出概率，并根据所述输出概率构造所述文本分类训练目标的最大似然函数；

对所述神经网络分类模型的输入层权重进行稀疏处理，获取稀疏正则函数；

将所述稀疏正则函数加入所述最大似然函数，构建所述神经网络的目标函数，并根据所述目标函数对所述神经网络分类模型进行训练，获取语义分类神经网络模型。

2.根据权利要求1所述的基于稀疏权值神经网络的语义分类方法，其特征在于，所述计算文本向量包括：

构造与所述词向量关联的核函数，并根据所述核函数创建对应词向量的径向基；

构造径向基与所述文本向量的函数关系，将所述词向量输入所述所述径向基与所述文本向量的函数关系中，并将计算结果映射到[0,1]区间，获取文本向量。

3.根据权利要求2所述的基于稀疏权值神经网络的语义分类方法，其特征在于，所述径向基包括：

所述径向基与所述文本向量的函数关系包括：

其中，w为文本向量，s_i为第i个词构成的径向基，x_i为所述文本序列中第i个词的词向量，c_j为第j个径向基的中心向量。

4.根据权利要求1所述的基于稀疏权值神经网络的语义分类方法，其特征在于，所述计算所述样本分类训练目标输出概率，包括：

对样本集中的文本序列进行分词处理；

将将所述分词处理得到的词语转换为词向量；

将所述计算得到的文本向量输入所述神经网络分类模型，获取所述神经网络分类模型的输出值；

根据所述神经网络分类模型的输出值判断样本分类训练目标的输出概率。

5.根据权利要求1所述的基于稀疏权值神经网络的语义分类方法，其特征在于，所述最大似然函数包括：

其中，f(w_i,θ)∈R^m为所述神经网络分类模型，输出为第i样本的各类别概率估计，w为所有输入样本的文本向量集合，m为类别数，θ为所述神经网络分类模型的权重矩阵，w_i为第i个样本对应的文本向量，由第i个文本对应的词向量构成的向量集合；y_i∈R^m表示样本i的类别标记向量，元素由0和1构成。

6.根据权利要求1所述的基于稀疏权值神经网络的语义分类方法，其特征在于，所述稀疏处理包括：

计算所述神经网络分类模型的输入层权重的L1范数，将所述L1范数作为惩罚函数用于构造目标函数对所述神经网络分类模型的输入层权重进行分组选择。

7.根据权利要求1所述的基于稀疏权值神经网络的语义分类方法，其特征在于，在对所述神经网络分类模型的输入层权重进行稀疏处理之后，还包括：将所述神经网络分类模型的输入层权重与所述权重对应的L2范数的二次方相加。

8.根据权利要求1所述的基于稀疏权值神经网络的语义分类方法，其特征在于，所述目标函数包括：

其中，i为第i组特征，j为第i组特征中第j个神经网络输入权重索引，G_i为第i组特征中对应神经网络输入权重索引集合。