[发明专利]一种商品类目预测方法、装置、设备及存储介质

说明书

本申请公开了一种商品类目预测方法、装置、设备及存储介质，包括：将预设商品信息输入至预训练模型进行处理，得到与所述预设商品信息对应的商品类目；其中，所述预训练模型为已有的用于对商品类目进行预测的训练后模型；对与所述预设商品信息对应的商品类目进行分布统计以得到相应的类目分布结果，并根据所述类目分布结果对所述预设商品信息进行分布对齐处理；利用分布对齐后的所述预设商品信息对所述预训练模型进行模型微调得到目标预测模型，以利用所述目标预测模型对待预测商品信息的商品类目进行预测。本申请将大规模的语料训练出来的预训练模型迁移至目标预测模型，避免大量人工标注过程，提高商品类目预测效率和准确率。

技术领域

本发明涉及人工智能技术领域，特别涉及一种商品类目预测方法、装置、设备及存储介质。

背景技术

大数据无处不在，特别是在迅速发展的电商平台，数据维护显得尤为重要。其中，大量的商品类目是治理的重中之重，由于每个电商平台都设置有自己独特的商品类目，如何根据不同平台自适应的对所有商品进行类目整理和多级类目梳理是提高平台竞争力和工作效率的必经之路。现有的商品类目治理方案大多将“直接人工标注”和“微调模型”结合在一起，然而商品的类目标注较为复杂，人工标注成本较高且效率较低，同时也无法保证正确率。

因此，如何提供一种高效且准确的商品类目预测方法是本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本发明的目的在于提供一种商品类目预测方法、装置、设备及存储介质，能够避免大量人工标注过程，提高商品类目预测效率和准确率。其具体方案如下：

本申请的第一方面提供了一种商品类目预测方法，包括：

将预设商品信息输入至预训练模型进行处理，得到与所述预设商品信息对应的商品类目；其中，所述预训练模型为已有的用于对商品类目进行预测的训练后模型；

对与所述预设商品信息对应的商品类目进行分布统计以得到相应的类目分布结果，并根据所述类目分布结果对所述预设商品信息进行分布对齐处理；

利用分布对齐后的所述预设商品信息对所述预训练模型进行模型微调得到目标预测模型，以利用所述目标预测模型对待预测商品信息的商品类目进行预测。

可选的，所述将预设商品信息输入至预训练模型进行处理之前，还包括：

获取第三方商品信息及对应商品类目；

通过主动学习的方式对第三方商品信息及对应商品类目进行数据清洗，以利用清洗后的数据对所述预训练模型进行模型微调。

可选的，所述通过主动学习的方式对第三方商品信息及对应商品类目进行数据清洗，包括：

分别利用每种商品类目中的第三方商品信息对对应种类的商品类目的分类器进行训练；

利用训练后的分类器对对应的第三方商品信息的商品类目进行预测，并将置信度小于第一预设阈值的第三方商品信息进行删除。

可选的，所述分别利用每种商品类目中的第三方商品信息对对应种类的商品类目的分类器进行训练之前，还包括：

将第三方商品信息及对应商品类目划分为训练集、测试集和验证集，并从所述训练集中筛选第三方商品信息以对对应种类的商品类目的分类器进行训练。

可选的，所述商品类目预测方法，还包括：

通过五折交叉验证的方式对每种商品类目的训练后的分类器进行模型效果验证。

可选的，所述通过主动学习的方式对第三方商品信息及对应商品类目进行数据清洗，包括：