[发明专利]文本处理方法及装置

说明书

本说明书实施例提供文本处理方法及装置，其中文本处理方法包括：获取待处理文本，执行目标任务的第一任务模型；将待处理文本输入第一任务模型，获得对待处理文本执行目标任务的任务处理结果，其中，第一任务模型为利用有标签文本和无标签文本对初始任务模型进行半监督学习得到，无标签文本包括第二任务模型输出的、与目标任务相关的无标签文本，第二任务模型和第一任务模型执行不同任务。由于第一任务模型的训练数据中包括第二任务模型输出的、与目标任务相关的无标签文本，从而利用第二任务模型的无标签数据对第一任务模型进行训练，可以使得到更好的模型参数，进而在利用第一任务模型对待处理文本执行目标任务的情况下，可以得到更准确的结果。

技术领域

本说明书实施例涉及机器学习技术领域，特别涉及文本处理方法。

背景技术

文本处理任务基于传统的给定知识进行简单问答，从数据来源和应用场景上都有了扩展。数据来源上，客户希望能低成本利用客户现有的数据，包括对话日志、知识库、数据库、文档等；服务场景上，越来越多的场景需要服务更加专业的人员，传统的基于手工构建知识并提供简单问答的系统已经不能满足现有场景的需要，亟需针对此场景有一套整体的方案设计。

发明内容

有鉴于此，本说明书实施例提供了一种文本处理方法。本说明书一个或者多个实施例同时涉及一种机器问答方法、任务模型的数据处理方法、一种文本处理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种文本处理方法，包括：

获取待处理文本，以及执行目标任务的第一任务模型；

将所述待处理文本输入所述第一任务模型，获得对所述待处理文本执行所述目标任务的任务处理结果，其中，所述第一任务模型为利用有标签文本和无标签文本对初始任务模型进行半监督学习得到，所述无标签文本包括第二任务模型输出的、与所述目标任务相关的无标签文本，所述第二任务模型和所述第一任务模型执行不同任务。

根据本说明书实施例的第二方面，提供了一种机器问答方法，包括：

获取待处理问题文本，以及执行问答任务的问答任务模型；

将所述待处理问题文本输入所述问答任务模型，获得所述待处理问题文本对应的答案文本，其中，所述问答任务模型为利用有标签文本和无标签文本对初始任务模型进行半监督学习得到，所述无标签文本包括其他任务模型输出的、与所述问答任务相关的无标签文本，所述其他任务模型和所述问答任务模型执行不同任务。

根据本说明书实施例的第三方面，提供了一种任务模型的数据处理方法，应用于云侧设备，包括：

获取有标签样本集和无标签样本集，其中，所述有标签样本集包括多个有标签文本，所述无标签样本集包括多个无标签文本；

将所述无标签样本集中的无标签文本输入第一子模型，生成第一伪标签样本集，其中，所述第一伪标签样本集包括所述多个无标签文本分别对应的伪标签文本；

基于所述有标签样本集和所述第一伪标签样本集，对所述第一子模型和第二子模型进行训练，获得训练后的第一任务模型的模型参数；

将所述第一任务模型的模型参数发送至端侧设备。

根据本说明书实施例的第四方面，提供了一种文本处理装置，包括：

样本获取模块，被配置为获取待处理文本，以及执行目标任务的第一任务模型；

模型处理模块，被配置为将所述待处理文本输入所述第一任务模型，获得对所述待处理文本执行所述目标任务的任务处理结果，其中，所述第一任务模型为利用有标签文本和无标签文本对初始任务模型进行半监督学习得到，所述无标签文本包括第二任务模型输出的、与所述目标任务相关的无标签文本，所述第二任务模型和所述第一任务模型执行不同任务。