[发明专利]基于卷积神经网络的注意力权重计算方法和装置在审
申请号: | 201910962685.0 | 申请日: | 2019-10-11 |
公开(公告)号: | CN110909862A | 公开(公告)日: | 2020-03-24 |
发明(设计)人: | 陈曦;李薿;庄伯金;王少军 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08 |
代理公司: | 北京鸿元知识产权代理有限公司 11327 | 代理人: | 张超艳;董永辉 |
地址: | 518033 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 卷积 神经网络 注意力 权重 计算方法 装置 | ||
1.一种基于卷积神经网络的注意力权重计算方法,其特征在于,包括:
接收时序数据,并使用自注意力机制计算所述时序数据中各特征的注意力权重;
对所述时序数据进行多层注意力权重提取,并获得中间隐藏层影响因素;
根据中间隐藏层影响因素和预先获取的基准数据计算不同时刻基准数据的注意力权重;
对所述基准数据进行多层注意力权重提取,并使用自注意力机制更新中间隐藏层影响因素;
根据最后一层的注意力权重和中间隐藏层影响因素获取与所述时序数据对应的预测结果,并显示所述预测结果至客户端。
2.根据权利要求1所述的一种基于卷积神经网络的注意力权重计算方法,其特征在于,使用自注意力机制计算所述时序数据中各特征的注意力权重,还包括:
使用可变形卷积机制对所述时序数据进行特征提取,以获取时间维度信息;
通过归一化指数函数层获取不同特征在不同时刻的注意力贡献值。
3.根据权利要求1所述的一种基于卷积神经网络的注意力权重计算方法,其特征在于,对所述基准数据进行多层注意力权重提取,并使用自注意力机制更新中间隐藏层影响因素,还包括:
对上一层的中间隐藏层影响因素进行自注意力更新处理;
根据更新后的中间隐藏层影响因素和上一层得到的基准数据的注意力权重计算下一层基准数据的注意力权重。
4.根据权利要求1所述的一种基于卷积神经网络的注意力权重计算方法,其特征在于,根据最后一层的注意力权重和中间隐藏层影响因素获取并显示与所述时序数据对应的预测结果,还包括:
将预测结果进行线性变换,并通过归一化指数函数输出分类预测结果。
5.根据权利要求1所述的一种基于卷积神经网络的注意力权重计算方法,其特征在于,所述中间隐藏层影响因素根据历史时间信息和空间信息提取生成。
6.根据权利要求1所述的一种基于卷积神经网络的注意力权重计算方法,其特征在于,在接收时序数据之后,还包括:
对所述时序数据进行扩张因果卷积操作以提取注意力权重。
7.根据权利要求1所述的一种基于卷积神经网络的注意力权重计算方法,其特征在于,
所述时序数据为数值转移历史数据,所述历史数据包括每日数值转移阈值、数值转移量、数值转移价值以及数值转移指数;与所述时序数据对应的预测结果为预设时间段内数值转移的各项预测结果,所述预设时间段为一天、一周、一个月中的任意一种。
8.一种基于卷积神经网络的注意力权重计算装置,其特征在于,所述基于卷积神经网络的注意力权重计算装置包括:
输入模块,用于接收时序数据,并使用自注意力机制计算所述时序数据中各特征的注意力权重;
提取模块,对所述时序数据进行多层注意力权重提取,并获得中间隐藏层影响因素;
计算模块,根据中间隐藏层影响因素和预先获取的基准数据计算不同时刻基准数据的注意力权重;
学习模块,对所述基准数据进行多层注意力权重提取,并使用自注意力机制更新中间隐藏层影响因素;
输出模块,根据最后一层的注意力权重和中间隐藏层影响因素获取与所述时序数据对应的预测结果,并显示所述预测结果至客户端。
9.一种电子设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-7中任意一项所述的基于卷积神经网络的注意力权重计算方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中包括一种基于卷积神经网络的注意力权重计算方法程序,所述基于卷积神经网络的注意力权重计算方法程序被处理器执行时,实现如权利要求1至7中任一项所述的一种基于卷积神经网络的注意力权重计算方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910962685.0/1.html,转载请声明来源钻瓜专利网。