[发明专利]基于注意力机制及多模态的服务需求动态预测方法及系统

权利要求书

1.一种基于注意力机制及多模态的服务需求动态预测方法，其特征在于，包括：

获取服务使用过程中产生的文本数据及图像数据；

分别对所述文本数据及图像数据进行特征提取；将提取的特征输入预先训练的基于软注意力与多模态机器学习的预测模型中，实现用户下一时刻的服务需求的预测；

其中，所述基于软注意力与多模态机器学习的预测模型，具体为：基于特征共享机制实现多模态数据特征的融合；利用软注意力机制对融合后的特征进行处理，基于软注意力机制计算融合后的特征信息的权重，并获得多样化的服务兴趣表达向量；并将获得的结果输入到预先训练的GRU网络，获得用户的服务兴趣特征向量表示；基于用户信息特征及其服务兴趣特征向量表示，通过全连接层实现对用户下一时刻的服务需求的预测；

所述将获得的结果输入到预先训练的GRU网络，获得用户的服务兴趣特征向量表示，具体为：通过所述GRU网络对用户每一时刻所使用的服务、以及过去时刻使用的服务对当前时刻使用服务的影响进行学习，其学习结果储存在每一时刻的隐藏状态向量中，并在每一时刻输出一个隐藏状态向量来表示学习到的服务兴趣信息，进而获得用户每一时刻的服务使用兴趣。

2.如权利要求1所述的一种基于注意力机制及多模态的服务需求动态预测方法，其特征在于，所述基于特征共享机制实现多模态数据特征的融合，具体为：将提取的文本特征及图像特征分别输入到文本特征网络和图像特征网络中，将文本特征与图像特征网络每层全连接层的输出进行逻辑相加；将图像特征与文本特征网络每层全连接层的输出进行逻辑相加，最后将文本特征网络与图像特征网络的输出通过一层全连接层，获得融合结果。

3.如权利要求2所述的一种基于注意力机制及多模态的服务需求动态预测方法，其特征在于，所述文本特征网络和图像特征网络均由若干全连接层构成。

4.如权利要求1所述的一种基于注意力机制及多模态的服务需求动态预测方法，其特征在于，所述GRU网络中引入辅助损失函数，通过所述辅助损失函数计算GRU每个时刻的隐藏状态和下个时刻服务特征融合向量之间的差距。

5.一种基于注意力机制及多模态的服务需求动态预测系统，其特征在于，包括：

数据获取单元，其用于获取服务使用过程中产生的文本数据及图像数据；

需求预测单元，其用于分别对所述文本数据及图像数据进行特征提取；将提取的特征输入预先训练的基于软注意力与多模态机器学习的预测模型中，实现用户下一时刻的服务需求的预测；

其中，所述基于软注意力与多模态机器学习的预测模型，具体为：基于特征共享机制实现多模态数据特征的融合；利用软注意力机制对融合后的特征进行处理，基于软注意力机制计算融合后的特征信息的权重，并获得多样化的服务兴趣表达向量；并将获得的结果输入到预先训练的GRU网络，获得用户的服务兴趣特征向量表示；基于用户信息特征及其服务兴趣特征向量表示，通过全连接层实现对用户下一时刻的服务需求的预测；

所述将获得的结果输入到预先训练的GRU网络，获得用户的服务兴趣特征向量表示，具体为：通过所述GRU网络对用户每一时刻所使用的服务、以及过去时刻使用的服务对当前时刻使用服务的影响进行学习，其学习结果储存在每一时刻的隐藏状态向量中，并在每一时刻输出一个隐藏状态向量来表示学习到的服务兴趣信息，进而获得用户每一时刻的服务使用兴趣。

6.如权利要求5所述的一种基于注意力机制及多模态的服务需求动态预测系统，其特征在于，所述基于特征共享机制实现多模态数据特征的融合，具体为：将提取的文本特征及图像特征分别输入到文本特征网络和图像特征网络中，将文本特征与图像特征网络每层全连接层的输出进行逻辑相加；将图像特征与文本特征网络每层全连接层的输出进行逻辑相加，最后将文本特征网络与图像特征网络的输出通过一层全连接层，获得融合结果。

7.一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一项所述的一种基于注意力机制及多模态的服务需求动态预测方法。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任一项所述的一种基于注意力机制及多模态的服务需求动态预测方法。