[发明专利]扩展数据集以及预测待分类对象的类别的方法

说明书

本申请提出扩展训练数据集，使用扩展训练数据集训练的分类模型进行分类的方法。扩展训练数据集的方法包括基于原始数据和辅助数据生成合并数据，辅助数据与分类模型的应用场景相关联并且来自与原始数据的来源不同的来源；以及使用分类模型更新合并数据的类别以生成用于训练分类模型的第一扩展数据集。本申请的方案可以扩充标注数据样本的数量以及提高数据的标注准确度，使得所训练的分类模型的分类性能得到优化。

技术领域

本申请涉及数据处理，特别涉及扩展训练数据集，基于扩展数据集训练的分类模型进行对象分类的方法、设备和计算机存储介质。

背景技术

在使用诸如神经网络模型的分类模型预测对象类别的任务中，需要使用经标注的数据构成训练数据集对分类模型进行训练。因此，训练数据集的数据量和标注准确度是影响模型性能的重要因素之一。

训练数据集中的数据通常来自分类任务的应用场景中待分类对象的历史数据样本。但是，仅使用待分类对象的经标注的历史数据可能存在提取用于确定模型参数的信息量不够的问题。此外，待分类对象所具有的类别(也可以称为标签)包括长尾标签类型时，历史数据样本的数据量不均衡情况将使用于训练分类模型的历史数据样本不足以覆盖所有的长尾标签类型。

因此，存在对训练数据集的数据进行扩展以提高分类模型训练效果，进而改善分类模型的分类性能的需求。

发明内容

鉴于上文中提及的待解决问题和缺陷，本申请的实施例提出用于扩展训练数据集的方法，基于扩展的数据集训练的分类模型对待分类对象进行分类的方法及其设备和计算机存储介质。

根据本申请的一方面，提出一种用于扩展训练数据集的方法，该训练数据集包括多个原始数据，该方法包括：

基于原始数据和辅助数据生成合并数据，辅助数据与分类模型的应用场景相关联并且来自与原始数据的来源不同的来源；

使用分类模型更新合并数据的类别以生成用于训练分类模型的第一扩展数据集。

根据本申请的实施例，使用分类模型更新合并数据的类别以生成用于训练分类模型的第一扩展数据集包括如下步骤：

将合并数据划分为具有不同的合并数据的第一合并数据子集和第二合并数据子集；

使用第一合并数据子集训练分类模型的原始分类模型以获得第一分类模型；

使用第一分类模型确定的第二合并数据子集中的合并数据的预测类别来更新第二合并数据子集中的合并数据的类别；

基于第一合并数据子集和经更新的第二合并数据子集生成第一扩展数据集，其中第一扩展数据集包括具有更新的类别的合并数据。

根据本申请的另一方面，提出一种用于预测待分类对象的类别的方法，包括：获取待分类对象；使用如上所述的方法训练的第二分类模型预测待分类对象的类别。

根据本申请的又一方面，提出一种计算机可读存储介质，其上存储有计算机程序，该计算机程序包括可执行指令，当该可执行指令被处理器执行时，实现如上所述的方法。

根据本申请的再一方面，提出一种电子设备，包括处理器以及用于存储所述处理器的可执行指令的存储器，其中，处理器被配置为执行可执行指令以实现如上所述的方法。

通过引入与分类模型的应用场景相关联的第三方辅助数据对训练数据集进行扩展，训练数据集可以包含更多与分类任务(特别是多标签分类任务)相关的信息。经过诸如来自业务执行方的业务处理日志或来自业务反馈方的反馈信息的第三方辅助信息对原始数据的标注类别的清洗和更新，可以扩充标注数据样本的数量以及提高数据的标注准确度，使得所训练的分类模型的分类性能得到优化。进一步补充长尾标签类别信息的扩展数据集还可以有效缓解原始数据不均衡的情况，提高分类模型针对具有长尾标签类别的待分类对象的分类性能。

附图说明