[发明专利]一种基于关键词的产品分类方法

说明书

本发明公开了一种基于关键词的产品分类方法，包括如下步骤：步骤一：准备训练集，从训练集中提取产品数据，标注产品数据的目录码，形成样本；步骤二：产品数据的预处理，所述预处理包括噪声样本过滤、词形变换、平衡样本；步骤三：采用预训练语言模型Bert搭建产品分类模型；步骤四：加载并微调预训练语言模型Bert；步骤五：基于语言模型Bert，预测产品的目录码。通过有监督的深度学习，能够克服关键词检索匹配技术的局限，智能解决具有相同关键词但所属不同类别、同一类别内有不同关键词的产品分类、细粒度产品目录分类较难等难题，达到同时采用多种数据预处理方案克服深度学习中样本不平衡、同义异形、标签错误等噪声干扰的效果。

技术领域

本发明涉及深度学习和自然语言处理领域，特别是涉及一种基于关键词的产品分类方法。

背景技术

很多场景都需要将某种产品分类到已有产品目录体系，例如新产品上架，清洗已有产品分类不规范问题，检索同类产品等。当未知类别的产品数量过多时，人工分类已不能满足大规模分类的需求。传统的搜索引擎检索技术只适用于检索一批包含相同关键词的产品，这批产品很可能具有不一样的类别分布，因此不适用于产品分类。

BERT模型的全称是Bidirectional Encoder Representation fromTransformers，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的，模型在pre-train方法上，用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。

发明内容

本发明所要解决的技术问题是克服现有技术的不足，提供一种基于关键词的产品分类方法。

为解决上述技术问题，本发明提供一种基于关键词的产品分类方法，其特征在于，包括如下步骤：

步骤一：准备训练集，从训练集中提取产品数据，标注产品数据的目录码，形成样本；

步骤二：产品数据的预处理，所述预处理包括噪声样本过滤、词形变换、平衡样本；

步骤三：采用预训练语言模型Bert搭建产品分类模型，定义预训练语言模型Bert的模型结构和损失函数；

步骤四：加载预训练语言模型Bert，微调预训练语言模型Bert；

步骤五：基于训练后的语言模型Bert，输入产品的关键词，预测产品的目录码。

所述步骤一中，所述训练集为已有产品的目录体系，所述产品数据为产品名称和关键词，所述目录码为细粒度目录码，所述标注产品数据的目录码的过程是将产品名称、产品关键词和目录码处理成文本标签对的形式。

所述步骤二中，所述噪声样本过滤是指：计算文本标签对中产品名称和产品关键词的交集，将所述交集作为代理关键词，统计代理关键词所在目录的分布频次，对于每个代理关键词，若分布的目录数量在5个以上，则删除频次低于10的目录中的相应文本标签对；

所述词形变换是指：将文本标签对中的产品名称变换成具有不同词形的文本，所述变换的方法包括词形还原、词形扩充、符号转换；

所述平衡采样是指：对于经过噪声样本过滤和词形变换后的数据集，统计每个目录码拥有的样本数量并计算均值，对低于均值的目录码的样本，以上采样或重复采样至达到均值，对于高于均值的目录码的样本，以下采样至达到样本平衡。