[发明专利]一种基于深层特征融合模型的商品信息分类方法

权利要求书

1.一种基于深层特征融合模型的商品信息分类方法，其特征在于：包括如下步骤：

(1)对商品文本标题数据进行预处理；

(2)建立深层特征融合模型，利用深层特征融合模型对商品进行自动分类；

(3)对模型进行训练和测试，验证数据分类的有效性；

所述步骤(1)中，通过对文本标题信息清洗、分词，得到商品文本标题的字序列和词序列，然后通过Word2vec模型获得字向量及词向量，具体包括如下步骤：

(1.1)将商品信息进行清洗，删除无意义字符和停用词；

(1.2)对经过(1.1)处理后的信息进行分字处理和分词处理，获得商品文本标题的字序列W＝{w₁,w₂,…,w_p}和词序列C＝{c₁,c₂,…,c_q}，其中p和q分别为文本的字和词语序列的固定长度；

(1.3)利用上一步处理得到的信息，通过gensim机器学习库中的Word2vec模型训练得到字向量E_xw和词向量E_xc；

所述深层特征融合模型包括嵌入输入层、卷积采样层、特征增强层和融合输出层，所述步骤(2)实现过程如下：

(21)将步骤(1)中获得的字向量E_xw和词向量E_xc输入到嵌入输入层并对其进行特征映射得到文本的浅层特征和

(22)将步骤(21)中得到的浅层特征通过特征增强层的自注意力机制模块进行特征增强，获得增强后的特征X’^W和X’^C；

(23)将步骤(22)中增强后的文本浅层特征输入卷积采样层，并利用多层卷积神经网络对文本浅层特征进行特征提取获得文本深层特征；

(24)将通过步骤(23)中获得的文本字嵌入与词嵌入的深层特征分别输入到特征增强层的通道注意力模块，得到深层增强特征；

(25)将字嵌入与词嵌入的深层增强特征输入到融合输出层，通过特征融合输出获得商品文本标题的综合特征，并通过softmax方法对商品进行分类，将分类结果用于损失函数优化进而确定最优商品信息分类模型；

所述深层特征融合模型中的卷积采样层使用(3，4，5)三个卷积核的双层卷积神经网络，卷积神经网络对经过自注意力增强后的文本浅层特征X’^W和X’^C进行文本特征提取，得到深层特征矩阵Y^W和Y^C；

首先，使用自注意力机制对文本浅层特征进行增强，得到增强后的特征X′n，我们将操作表示为；

An＝softmax(X_nW_Xn(X_n)_T)

X′ⁿ＝A_nXⁿ

其中，Xⁿ表示需要进行特征增强的浅层特征，n∈{w,c}，softmax(.)表示将输入通过一个归一化指数函数进行处理，可将输入向量压缩至[0,1]之间，且保证所有元素和为1，W^Xn表示自注意力机制中用来学习的权重矩阵；

其次，使用通道注意力机制对文本深层特征进行特征增强，该部分分为压缩和扩展两个阶段，压缩阶段先将特征矩阵Y^W和Y^C分别通过执行单维全局平均池化，将其最后一维特征压缩为一个固定值,使固定值可以代表一定范围内的特征，再使用一个一维卷积操作,将压缩之后矩阵维度BS*C*1减小到BS*(C/R)*1，经过通道特征压缩后获得的增强特征Sn可以表示为:

其中，表示压缩阶段卷积操作的参数矩阵，r∈{p,q}表示字嵌入或词嵌入维度，H_GP(·)表示全局平均池化操作，σ(.)表示ReLU激活函数，Yⁿ∈{Y^W,Y^C}为待压缩的通道特征；

扩展阶段使用一维卷积操作将矩阵维度由压缩之后的BS*(C/R)*1变回BS*C*1，最终输出经过加权的特征矩阵Y′^W和Y′^C，可以表示为：

A′_n＝δ(W2^snSⁿ)

Y′ⁿ＝A′_n·Yⁿ

其中，δ(.)表示激活函数，W2^sn表示扩展阶段卷积操作的参数矩阵。

2.根据权利要求1所述的一种基于深层特征融合模型的商品信息分类方法，其特征在于：所述步骤(3)中采用通过二元交叉熵损失函数作为目标函数，采用反向传播机制对深层特征融合模型中的参数进行训练和更新，以最小化商品真实类别和商品预测类别的交叉熵，表示为：

其中c为该商品的真实类别，c'为模型预测类别，i表示商品索引，j表示商品类别索引，在模型训练过程，在输入层输入标注好的数据，然后采用时间反向传播(BPTT)算法获得目标函数相对于所有参数的导数，并通过随机梯度下降法最小化目标函数，从而确定最优商品分类模型。