[发明专利]基于多模态的电力营销热点挖掘方法

权利要求书

1.基于多模态的电力营销热点挖掘方法，其特征在于：

所述方法包括以下步骤：

步骤1，采集电力营销中包括文本描述及其对应的图像描述的客户互动数据，将其汇总构成电力营销多模态热点挖掘数据集；

步骤2，对热点挖掘数据集中的文本描述进行预处理；

步骤3，对预处理后的热点挖掘数据集分别进行图像模态特征抽取和文本模态特征抽取，获取图像模态与文本模态的特征向量；

步骤4，使用跨模态注意力机制将图像模态特征和文本模态特征融合得到多模态融合特征，并基于多模态融合特征，利用CRF模型从文本描述中抽取候选热点词；

步骤5，对步骤4抽取的每个候选热点词计算原始热度值和热度增速；

步骤6，结合原始热度值与热度增速，从候选热点词中筛选最终的热点词。

2.根据权利要求1所述的基于多模态的电力营销热点挖掘方法，其特征在于：

步骤1中，最终得到的电力营销多模态热点挖掘数据集表示为D＝{(xⁱ,yⁱ)}_L，其中L为样本个数，xⁱ表示第i个样本的文本描述，yⁱ表示xⁱ对应的图像描述；

所述文本描述为用户对事件的咨询与申诉。

3.根据权利要求1所述的基于多模态的电力营销热点挖掘方法，其特征在于：

步骤2中，对热点挖掘数据集中的文本描述进行预处理，具体为：对文本描述中的无效字符或者停用词进行清洗。

4.根据权利要求1所述的基于多模态的电力营销热点挖掘方法，其特征在于：

步骤3所述图像模态特征抽取，具体为：

采用VGG网络中的VGG-16结构配置对图像描述进行视觉特征提取，提取公式为：

e(y)＝VGG16(y)

其中，y为输入的图像描述，e(y)为VGG-16输出的低维编码特征向量，描述图像的视觉特征，图像特征转化成一个向量。

5.根据权利要求1所述的基于多模态的电力营销热点挖掘方法，其特征在于：

步骤3所述文本模态特征抽取，具体为：

从文本描述提取文本特征，公式为：

z_t＝σ(W_xzx_t+W_hzh_t-1)

r_t＝σ(W_xrx_t+W_hrh_t-1)

其中，

W_xz和W_hz分别表示在求解z_t时，为x_t和h_t-1分配的可训练的二维参数矩阵；

W_xr和W_hr分别表示在求解r_t时，为x_t和h_t-1分配的可训练的二维参数矩阵；

和分别表示在求解时，为x_t和h_t-1分配的可训练的二维参数矩阵；

σ表示sigmoid激活函数；

x_t是在文本描述的第t个字；tanh表示tanh激活函数；

h_t-1是在解码步骤t-1的隐藏层输出；

是综合h_t与x_t的隐藏状态；

r_t是控制隐藏层h_t-1在先前时间对于此时单词x_t的影响；

z_t是隐含向量，决定是否需要遗忘此时单词x_t；

e’(x_t)为最后输出的局部文本模态特征；

之后，采用预训练语言模型BERT对知识进行表示。