[发明专利]图文融合分类方法及其装置、设备、介质、产品

权利要求书

1.一种图文融合分类方法，其特征在于，包括如下步骤：

对商品对象的商品图片进行特征提取，获得相应的图片编码向量；所述图片编码向量包括所述商品图片被分割形成的多个图元相对应的单行向量；

对所述商品对象的摘要文本进行特征提取，获得相应的文本编码向量；

基于多头注意力机制对由所述图片编码向量和文本编码向量拼接而成的图文拼接向量进行多级编解码，获得图文融合向量；

根据所述图文融合向量进行分类，根据分类结果判定所述商品对象的分类标签。

2.根据权利要求1所述的图文融合分类方法，其特征在于，对商品对象的商品图片进行特征提取，获得相应的图片编码向量，包括如下步骤：

将所述商品图片分割为多块预定规格的图元；

针对每个图元，采用图像特征提取器提取对应的单图特征向量；

将所述单图特征向量展开为以单行向量表示的单图嵌入向量；

将所有单图嵌入向量拼接为所述图片编码向量，其中携带各个图元在所述商品图片中的位置信息及区分信息。

3.根据权利要求1所述的图文融合分类方法，其特征在于，对所述商品对象的摘要文本进行特征提取，获得相应的文本编码向量，包括如下步骤：

根据预设词典将所述摘要文本转换为文本嵌入向量、位置嵌入向量以及分句嵌入向量；

采用文本特征提取器根据所述文本嵌入向量、位置嵌入向量、分句嵌入向量提取出所述文本编码向量。

4.根据权利要求1所述的图文融合分类方法，其特征在于，基于多头注意力机制对由所述图片编码向量和文本编码向量拼接而成的图文拼接向量进行多级编解码，包括如下步骤：

经多个基于多头注意力机制的编码器对所述图文拼接向量进行编码，逐级获得所述图文拼接向量相对应的高层语义信息，最终输出图文交互向量；

经多个基于多头注意力机制的解码器对所述图文交互向量进行解码，整理所述图文交互向量的上下文语义信息，获得图文融合向量；

将所述图文融合向量进行线性转换以映射到分类空间。

5.根据权利要求4所述的图文融合分类方法，其特征在于，经多个基于多头注意力机制的编码器对所述图文拼接向量进行编码的步骤中，每个编码器执行如下步骤：

为其所接收的图文拼接向量中的每个行向量构造查询向量、键向量及值向量；

将所有行向量相对应的值向量进行加权求和，各值向量相应的权重为其相对应的键向量与其他行向量相对应的查询向量的点积的归一化分值；

将加权求和结果乘以转换权重矩阵获得其相对应的中间信息矩阵；

经多层感知器对所述中间信息矩阵进行特征提取，获得图文交互向量，作为下一编码器所需的图文拼接向量，或在最后一个编码器中直接输出。

6.根据权利要求1至5中任意一项所述的图文融合分类方法，其特征在于，所述图文编码向量或所述文本编码向量中被插入预设的分类任务标识。

7.根据权利要求1至5中任意一项所述的图文融合分类方法，其特征在于，根据所述图文融合向量进行分类，根据分类结果判定所述商品对象的分类标签，包括如下步骤：

根据所述图文融合向量被映射的分类空间计算各个分类标签相对应的概率，获得分类结果；

根据分类结果确定其中概率最大的分类标签；

提取所述概率最大的分类标签相对应的表示文本；

输出所述的表示文本。

8.一种计算机设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的步骤。

9.一种计算机可读存储介质，其特征在于，其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。

10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至7任意一项中所述方法的步骤。