[发明专利]基于解耦特征引导的多模态文本页面分类方法

权利要求书

1.一种基于解耦特征引导的多模态文本页面分类方法，其特征在于，包括以下步骤：

获取电子文本页面数据构建训练集，并基于训练集训练双流的端到端Transformer编码网络，所述双流的端到端Transformer编码网络包括视觉特征提取器、语言特征提取器和跨模态融合编码器；

将待分类的电子文本页面的文本数据输入语言特征提取器获得深层语言特征；

将待分类的电子文本页面的图像数据输入视觉特征提取器获得深层视觉特征；

将得到的深层语言特征和深层视觉特征共同输入跨模态融合编码器获得多模态特征，并用于分类网络进行分类。

2.根据权利要求1所述的基于解耦特征引导的多模态文本页面分类方法，其特征在于，所述电子文本页面数据包括经济、军事、体育、美食、科技、旅游类别的电子文本页面图像和文本数据。

3.根据权利要求1所述的基于解耦特征引导的多模态文本页面分类方法，其特征在于，所述语言特征提取器包括第二解耦表征网络模块和语言编码器；所述语言特征提取器处理数据的方法，具体如下：

将待分类的电子文本页面的文本数据先输入第二解耦表征网络模块，得到浅层语言特征E_head和剩余文本特征E_tail；

然后将浅层语言特征E_head通过10层Transformer结构的语言编码器网络进一步提取文本特征得到深层语言特征F_t。

4.根据权利要求3所述的基于解耦特征引导的多模态文本页面分类方法，其特征在于，设Text＝{t₁，t₂，...，t_M}为通过分词处理的文本数据序列，t_j表示第j个文本描述符，并将其分为头部文本T_head和剩余文本T_tail；

采用大规模预训练Bert编码文本语言特征；将文本序列嵌入到语言特征空间具体过程表示为：

其中Bert(·)为预训练Bert权重，为待嵌入的文本序列，分别为依照Bert处理的方法在嵌入过程中添加嵌入向量的位置和语义类型；

采用S22中文本嵌入方法分别将头部文本T_head和剩余文本T_tail共享同一份Bert权重嵌入特征空间得到为浅层语言特征，为剩余文本特征；

将剩余特征和浅层语言特征分别输入引导对齐模块和语言编码模块进行处理。

5.根据权利要求1所述的基于解耦特征引导的多模态文本页面分类方法，其特征在于，所述视觉特征提取器包括第一解耦表征网络模块、引导对齐模块和视觉编码器；所述视觉特征提取器处理数据的方法，具体如下：

待分类的电子文本页面的图像数据通过第一解耦表征网络模块处理，解耦得到形状特征f_shape、颜色特征f_hsv和像素特征f_gray；

将得到的形状特征f_shape、颜色特征f_hsv、像素特征f_gray和S22中得到的剩余文本特征E_tail输入引导对齐模块进行引导对齐得到浅层视觉特征E_v；

将浅层视觉特征E_v输入视觉编码器进行加工，进一步提取视觉特征得到深层视觉特征F_v；其中对常规的视觉编码器中的自注意力层进行替换，采用加入高斯核函数生成mask的Transformer自注意力层，通过该高斯注意力GAttn(·)得到更加关注中心区域的视觉模态特征，其计算公式如下：

其中μ_r，μ_l，σ为超参数，μ_r，μ_l表示高斯函数均值，σ表示高斯函数标准差，W_q，W_k，W_θ分别为自注意力机制中Q值，K值和为高斯权重设置的可学习权重参数，r，l为特征点在特征图中的位置索引，T为矩阵转置符号。