[发明专利]网络模型训练方法、装置、文本分类模型及网络模型

说明书

本申请涉及一种网络模型训练方法、装置、文本分类模型及网络模型，属于计算机技术领域。该网络模型训练方法包括：获取训练样本集，所述训练样本集包括常见类样本和少见类样本；利用所述训练样本集对双边分支网络模型进行训练，得到训练好的文本分类模型，其中，所述双边分支网络模型的两个分支网络均包括基于多尺度注意力机制模块的编码层。本申请实施例中，通过基于多尺度注意力机制模块的编码层来构建双边分支网络模型，通过将多个信息头的信息进行融合，来获取丰富的语义信息，从而能使模型尽快收敛，以及提高模型的分类精度。

技术领域

本申请属于计算机技术领域，具体涉及一种网络模型训练方法、装置、文本分类模型及网络模型。

背景技术

随着产生的文本数量越来越多，纯靠人力去分类显然是不现实。目前文本分类技术主要分两类，一类是基于传统机器学习的分类方法，主要有贝叶斯，支持向量机(SupportVector Machine，SVM)等；另外一类是基于深度学习的分类方法。传统机器学习方法需要的数据量不是很多，也不过多依靠计算机，但是由于提取特征相对简单，模型的泛化能力相对较弱，分类准确性较差。而深度学习方法对数量依赖比较大，在实际应用中，由于有些数据的采集相对困难，并没有足够的数据进行训练，使得模型的收敛相对较难。另外，有些行业的数据量并不是很均衡，例如，病历文本分类中，一些少见病情对应的文本可能是不够的，这就造成模型对少见类缺乏足够的拟合能力，导致模型的分类精度不高。

发明内容

鉴于此，本申请的目的在于提供一种网络模型训练方法、装置、文本分类模型及网络模型，以改善现有分类模型的收敛相对较慢以及分类精度不高的问题。

本申请的实施例是这样实现的：

第一方面，本申请实施例提供了一种网络模型训练方法，包括：获取训练样本集，所述训练样本集包括常见类样本和少见类样本；利用所述训练样本集对双边分支网络模型进行训练，得到训练好的文本分类模型，其中，所述双边分支网络模型的两个分支网络均包括基于多尺度注意力机制模块的编码层。

本申请实施例中，通过基于多尺度注意力机制模块的编码层来构建双边分支网络模型，通过将多个信息头的信息进行融合，来获取丰富的语义信息，从而能使模型尽快收敛，以及提高模型的分类精度。

结合第一方面实施例的一种可能的实施方式，利用所述训练样本集对双边分支网络模型进行训练，包括：每次迭代训练时，对所述训练样本集中的样本进行随机采样，以及对所述训练样本集中的不同类别样本进行权重采样，在进行权重采样时，类别数量少的样本的采样频率大于类别数量多的样本的采样频率；将随机采样的N个样本输入所述双边分支网络模型中的第一分支网络中，将权重采样的N个样本输入所述双边分支网络模型中的第二分支网络中，对所述双边分支网络模型进行迭代训练，其中，N为正整数，且小于所述训练样本集中的样本数。

本申请实施例中，通过在每次迭代训练时，通过对训练样本集中的样本进行随机采样，将获得的N个样本输入第一分支网络中，对第一分支网络进行训练；通过对训练样本集中的不同类别样本进行权重采样，将获得的N个样本输入第二分支网络中，对第二分支网络进行训练，且在进行权重采样时，类别数量越少的样本，采样的频率越高，这样能解决模型对少见类样本缺乏足够的拟合能力的问题。

结合第一方面实施例的一种可能的实施方式，训练过程中，通过梯度平均模长和训练轮次动态调整两个分支网络对应的自适应权重因子，从而动态调整两个分支网络的特征融合。

本申请实施例中，通过梯度平均模长和训练轮次动态调整两个分支网络对应的自适应权重因子，从而动态调整两个分支网络的特征融合，能够有效防止过度采样少见类样本数据造成模型对少见类样本数据过拟合，同时也能抑制常见类别数据对模型的影响过大的问题。