[发明专利]一种数据处理方法及装置

说明书

本申请实施例公开了一种数据处理方法及装置，在需要处理任务时，从模型集合中确定第一处理模型和第二处理模型。并基于模型集合中未被选择的第三处理模型，确定第一共享模型和第二共享模型。第一共享模型为基于第一处理模型的输出结果、第三处理模型的输出结果训练生成的，第二共享模型为基于第二处理模型的输出结果、第三处理模型的输出结果训练生成。将待处理数据分别输入第一处理模型、第二处理模型获得第一输出结果、第二输出结果。再将第一输出结果输入第一共享模型，获得第三输出结果；将第二输出结果输入第二共享模型，获得第四输出结果。根据第三输出结果、第四输出结果确定目标输出结果，将目标输出结果确定为第三处理模型的输出结果。

技术领域

本申请涉及数据处理技术领域，具体涉及一种数据处理方法及装置。

背景技术

随着机器学习的不断发展，越来越多的技术领域利用机器学习进行数据处理，进而实现利用机器学习训练生成的模型提供服务。然而，现有的模型被视为独立的服务单元，并未充分挖掘不同模型件的知识关联性，导致针对不同的服务需要提供独立的服务模型，降低模型的服务能力，提高服务成本。

发明内容

有鉴于此，本申请实施例提供一种数据处理方法和装置，以实现多模型协同处理数据，提高模型的服务能力。

为解决上述问题，本申请实施例提供的技术方案如下：

在本申请实施例第一方面提供了一种数据处理方法，所述方法包括：

获取模型集合，所述模型集合中包括多个处理模型；

基于待处理任务对应的需求，从所述模型集合中确定出第一处理模型和第二处理模型；

将所述待处理任务中的待处理数据分别输入所述第一处理模型和所述第二处理模型，获得第一输出结果、第二输出结果；

基于所述模型集合中未被选择的第三处理模型，确定第一共享模型和第二共享模型，所述第一共享模型是以所述第一处理模型的输出结果为训练数据、所述第三处理模型的输出结果为标签训练生成的，所述第二共享模型是以所述第二处理模型的输出结果为训练数据、所述第三处理模型的输出结果为标签训练生成的，所述第三处理模型为所述模型集合中未被选择的模型中的任一个模型；

将所述第一输出结果输入所述第一共享模型，获得第三输出结果；

将所述第二输出结果输入所述第二共享模型，获得第四输出结果；

根据所述第三输出结果和所述第四输出结果获取目标输出结果，将所述目标输出结果确定为所述第三处理模型的输出结果。

可选的，所述根据所述第三输出结果和所述第四输出结果获取目标输出结果，将所述目标输出结果确定为所述第三处理模型的输出结果，包括：

获取所述第一共享模型对应的第一权重以及所述第二共享模型对应的第二权重；

根据所述第一权重、所述第二权重、所述第三输出结果以及所述第四输出结果获取目标输出结果。

可选的，所述方法还包括：

为所述第一共享模型和所述第二共享模型分配一组权重；

基于所分配的一组权重、所述第一共享模型的输出结果以及所述第二共享模型的输出结果确定预测结果；

根据所述预测结果以及所述第三处理模型的输出结果确定所述预测结果是否符合预设条件；

如果不符合所述预设条件，重新分配一组权重，执行上述操作；

如果符合预设条件，确定所述第一共享模型以及所述第二共享模型分别对应的权重。

可选的，所述第一共享模型、所述第二共享模型的训练过程包括：