[发明专利]图文融合分类方法及其装置、设备、介质、产品

说明书

本申请公开一种图文融合分类方法及其装置、设备、介质、产品，所述方法包括：对商品对象的商品图片进行特征提取，获得相应的图片编码向量；所述图片编码向量包括所述商品图片被分割形成的多个图元相对应的单行向量；对所述商品对象的摘要文本进行特征提取，获得相应的文本编码向量；基于多头注意力机制对由所述图片编码向量和文本编码向量拼接而成的图文拼接向量进行多级编解码，获得图文融合向量；根据所述图文融合向量进行分类，根据分类结果判定所述商品对象的分类标签。本申请能够根据商品对象的商品图片和摘要文本进行特征层面的深层语义交互，深化两类信息的融合后进行分类，能够提升分类准确度。

技术领域

本申请涉及电商信息技术领域，尤其涉及一种图文融合分类方法及其相应的装置、计算机设备、计算机可读存储介质，以及计算机程序产品。

背景技术

电商平台应用场景中，根据商品信息对商品对象进行分类，是高频发生的。例如，需要对商家实例所上线的商品对象进行不同类型安全性质的识别，识别出是否属于非卖品等。或者有时需要借助分类手段对商品对象的商品信息进行商品识别，识别出其中的商品是否属于目标物品。诸如此类的下游任务，均会依赖对商品对象的商品信息的深层语义特征提取，在此基础上进行相应的分类判别。分类是神经网络模型的基本功能之一，因此，电商应用场景中，广泛应用各种神经网络模型服务于其分类需求。

神经网络模型服务于商品对象的分类，常根据商品对象的商品信息中的图片信息和/或文本信息来提取相应的特征向量，然后根据这些特征向量简单拼接获得的综合向量进行分类，由此确定分类结果。经业界多年探索之后，相应的神经网络模型已经非常普遍，能起到一定的效果，当然也仍有待提升之处。

究其原因，现有技术中的各种协助实现电商平台对商品对象进行分类的神经网络模型中，其所赖以分类的综合向量，均未能真正实现图片信息与文本信息在深层语义上的融合，特别是指使两种信息在语义层面上实现深度交互的情况，因此，相应的分类模型的分类效果始终难以突破其自身固有的门槛，容易出现漏识别、误分类、训练收敛难、训练时间长等各种不利的情况。

本申请人长期从事相关领域的研究，为解决电商领域业内难题，故另辟蹊径。

发明内容

本申请的首要目的在于解决上述问题至少之一而提供一种图文融合分类方法及其相应的装置、计算机设备、计算机可读存储介质、计算机程序产品。

为满足本申请的各个目的，本申请采用如下技术方案：

适应本申请的目的之一而提供的一种图文融合分类方法，包括如下步骤：

对商品对象的商品图片进行特征提取，获得相应的图片编码向量；所述图片编码向量包括所述商品图片被分割形成的多个图元相对应的单行向量；

对所述商品对象的摘要文本进行特征提取，获得相应的文本编码向量；

基于多头注意力机制对由所述图片编码向量和文本编码向量拼接而成的图文拼接向量进行多级编解码，获得图文融合向量；

根据所述图文融合向量进行分类，根据分类结果判定所述商品对象的分类标签。

深化的实施例中，对商品对象的商品图片进行特征提取，获得相应的图片编码向量，包括如下步骤：

将所述商品图片分割为多块预定规格的图元；

针对每个图元，采用图像特征提取器提取对应的单图特征向量；

将所述单图特征向量展开为以单行向量表示的单图嵌入向量；

将所有单图嵌入向量拼接为所述图片编码向量，其中携带各个图元在所述商品图片中的位置信息及区分信息。

深化的实施例中，对所述商品对象的摘要文本进行特征提取，获得相应的文本编码向量，包括如下步骤：