[发明专利]神经网络训练方法、文本分类方法及文本分类系统

说明书

本发明公开一种神经网络训练方法、文本分类方法及文本分类系统。神经网络训练方法包括：S1:准备数据集：源域文本和目标域文本；S2:将源数据输入到源域神经网络中，提取源文本的特征；S3:对源文本的特征进行分类，得到源域分类标签；S4:根据源文本以及源域分类标签和目标文本进行训练，得到目标域的分类标签。本申请得到神经网络在应用如文本分类，达到了又快又准的技术效果。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种神经网络训练方法、文本分类方法及文本分类系统。

背景技术

自从2017年Transformer模型诞生以来，encoder-decoder取得的技术效果非常显著，然后2018年Google又提出了BERT预训练模型，又大大推动了NLP的的进步，广泛应用在NLP的各个领域里，比如对文本分类。

但基于bert模型也存在其难以解决的技术缺陷，主要是因为基于bert模型的文本分类算法构建的模型，参数都非常大，导致训练成本非常高，在实际使用的时候速度也比较慢，同时对于新出现的文本分类也不够准确。

发明内容

本发明为解决现有技术中存在的技术问题，提出一种神经网络训练方法，包括步骤：

S1:准备数据集：源域文本和目标域文本；

S2:将源数据输入到源域神经网络中，提取源文本的特征；

S3:对源文本的特征进行分类，得到源域分类标签；

S4:根据源文本以及源域分类标签和目标文本进行训练，得到目标域的分类标签。

进一步地，步骤S4:根据源文本以及源域分类标签和目标文本进行训练，得到目标域的分类标签包括：

将源域神经网络训练得到的参数作为目标域神经网络训练的初始化参数；

分别将源域文本和目标域文本输入至各自的神经网络中进行特征提取；

根据提取的源域文本特征和目标域文本的特征进行训练，获得目标域的分类标签。

进一步地，所述根据提取的源域文本特征和目标域文本的特征进行训练，采用对抗的方法进行训练。

进一步地，所述源域神经网络或目标域神经网络为基于bert构建的神经网络。

进一步地，在步骤S4中还包括对源域神经网络和目标域神经网络的参数进行压缩处理。

进一步地，对源域神经网络和目标域神经网络的参数进行压缩处理的方法为知识蒸馏。

本发明还提供一种文本分类方法，包括步骤：

接收输入的文本；

神经网络模型对文本进行分析并分类；

返回输出结果，

所述神经网络为所述神经网络训练方法得到的神经网络模型。

本发明还提供一种文本分类系统，包括交互单元、处理模块，其中：

交互单元用以接收输入的文本；

处理模块用以对输入的文本进行处理并向交互单元返回分类结果，

所述神经网络为所述神经网络训练方法得到的神经网络模型。

本发明还提供一种计算机可读存储介质，所述存储介质中存储有指令或者程序，所述指令或者程序由处理器加载并执行所述的文本分类方法。