[发明专利]文本处理方法、深度学习模型训练方法、装置以及设备

说明书

本公开提供了一种文本处理方法、深度学习模型训练方法、装置、设备、存储介质以及程序产品，涉及数据处理技术领域，尤其涉及人工智能、深度学习、自然语言处理等领域。具体实现方案为：获取输入文本；获取目标深度学习模型；通过目标深度学习模型处理输入文本，得到目标文本信息。

技术领域

本公开涉及数据处理技术领域，尤其涉及人工智能、深度学习、自然语言处理等技术领域，具体涉及一种文本处理方法、深度学习模型训练方法、文本处理装置、深度学习模型训练装置、设备、存储介质以及程序产品。

背景技术

随着人工智能技术的快速发展，自然语言处理作为人工智能的一个重要分支，可以用于文本处理等场景，如何提高文本处理效率成为一个亟需解决的技术问题。

发明内容

本公开提供了一种文本处理方法、深度学习模型训练方法、文本处理装置、深度学习模型训练装置、设备、存储介质以及程序产品。

根据本公开的一方面，提供了一种深度学习模型训练方法，包括：针对全量的训练批次中的任意一个训练批次以及初始深度学习模型的任意一个目标网络层，根据与训练批次关联的初始训练样本集，确定目标训练样本集，其中，目标训练样本集的目标训练样本的数量小于初始训练样本集的初始训练样本的数量；将目标训练样本集的目标训练样本输入目标网络层，得到目标网络层输出数据；根据目标损失函数和目标网络层输出数据，确定当前训练批次的训练反馈数值，训练反馈数值用于调整目标网络层的网络参数；以及在全量的训练批次对初始深度学习模型训练完成的情况下，根据每一个目标网络层的当前网络参数，确定目标深度学习模型，其中，初始深度学习模型包括自然语言处理预训练深度学习模型。

根据本公开的另一方面，提供了一种文本处理方法，包括：获取输入文本；获取目标深度学习模型；通过目标深度学习模型处理输入文本，得到目标文本信息其中，目标深度学习模型是根据上述以下操作得到的：针对全量的训练批次中的任意一个训练批次以及初始深度学习模型的任意一个目标网络层，根据与训练批次关联的初始训练样本集，确定目标训练样本集，其中，目标训练样本集的目标训练样本的数量小于初始训练样本集的初始训练样本的数量；将目标训练样本集的目标训练样本输入目标网络层，得到目标网络层输出数据；根据目标损失函数和目标网络层输出数据，确定当前训练批次的训练反馈数值，训练反馈数值用于调整目标网络层的网络参数；以及在全量的训练批次对初始深度学习模型训练完成的情况下，根据每一个目标网络层的当前网络参数，确定目标深度学习模型，其中，初始深度学习模型包括自然语言处理预训练深度学习模型。

根据本公开的另一方面，提供了一种深度学习模型训练装置，包括：目标训练样本集确定模块，用于针对全量的训练批次中的任意一个训练批次以及初始深度学习模型的任意一个目标网络层，根据与训练批次关联的初始训练样本集，确定目标训练样本集，其中，目标训练样本集的目标训练样本的数量小于初始训练样本集的初始训练样本的数量；目标网络层输出数据确定模块，用于将目标训练样本集的目标训练样本输入目标网络层，得到目标网络层输出数据；训练反馈数值确定模块，用于根据目标损失函数和目标网络层输出数据，确定当前训练批次的训练反馈数值，训练反馈数值用于调整目标网络层的网络参数；以及目标深度学习模型确定模块，用于在全量的训练批次对初始深度学习模型训练完成的情况下，根据每一个目标网络层的当前网络参数，确定目标深度学习模型，其中，初始深度学习模型包括自然语言处理预训练深度学习模型。