[发明专利]一种注意区域信息相似性的时间序列预测模型构建方法在审
申请号: | 201910849154.0 | 申请日: | 2019-09-09 |
公开(公告)号: | CN110717577A | 公开(公告)日: | 2020-01-21 |
发明(设计)人: | 刘志伟;王帮海 | 申请(专利权)人: | 广东工业大学 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06F16/906 |
代理公司: | 44102 广州粤高专利商标代理有限公司 | 代理人: | 林丽明 |
地址: | 510006 广东省*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 时间步 区域信息 神经网络 注意力机制 时间序列预测模型 时间序列预测 传统回归 加权融合 模型预测 时间序列 数据挖掘 预测结果 状态向量 鲁棒性 相似度 构建 向量 输出 预测 | ||
1.一种注意区域信息相似性的时间序列预测模型构建方法,其特征在于,包括以下步骤:
步骤S1:采集时间序列数据,将采集到的时间序列数据进行标准化处理;
步骤S2:将标准化处理后的时间序列数据按先后顺序输入到长短期神经网络LSTM中,获取并保存长短期神经网络LSTM每个时间步输入时间序列数据后更新的状态向量;
步骤S3:使用卷积神经网络CNN对长短期神经网络LSTM中每个时间步之前连续的多个状态向量进行卷积运算,得到与每一个时间步相对应的区域信息表征向量;
步骤S4:计算时间步之间所对应的区域信息表征向量的相似度,并根据相识度对区域信息表征向量赋予不同的权值;
步骤S5:将区域信息表征向量的权值映射为0~1之间的实数,并保证所有权值映射后的值的和为1;
步骤S6:将每个时间步的状态向量与对应时间步映射后的权值进行加权融合操作,得到最终的注意力表征向量,完成注意区域信息相似性的时间序列预测模型的构建;
步骤S7:使用损失函数以及优化器对权值进行优化,将注意区域信息相似性的时间序列预测模型运算过程中的损失降到最小。
2.根据权利要求1所述的一种注意区域信息相似性的时间序列预测模型构建方法,其特征在于,在步骤S1中,进行标准化处理的方式为采用归一化处理,即:
其中,为归一化后的时间序列数据,xi为原始的时间序列数据,xmax、xmin分别表示当前时间序列数据的最大值和最小值。
3.根据权利要求2所述的一种注意区域信息相似性的时间序列预测模型构建方法,其特征在于,在步骤S2中,长短期神经网络LSTM每个时间步输入时间序列数据后更新的状态向量为:
ht=LSTM(ht-1,xt) (3)
其中,ht为当前时间步输入更新状态,ht-1为上一时间步输入更新状态,xt为当前时间步输入数据特征值。
4.根据权利要求3所述的一种注意区域信息相似性的时间序列预测模型构建方法,其特征在于,在步骤S3中进行卷积运算时,超出卷积神经网络运算输入的部分用0进行补齐,一个时间步的区域信息抽取公式表示如下:
Vectort=CNN(ht-T,ht-T+1,...,ht) (4)
其中,T为自定义的一个时间跨步,ht-T表示与当前时间步相差T个时间跨步的时间步,Vectort代表对一个时间跨步信息进行卷积计算后得到的区域信息表征向量。
5.根据权利要求4所述的一种注意区域信息相似性的时间序列预测模型构建方法,其特征在于,在步骤S4中,通过注意力机制自动关注时间步t与上一个时间步t-1之间的区域信息表征向量,使用余弦相似度计算公式计算出时间步t区域信息表征向量与时间步t-1之间的区域信息表征向量相似度,对于相似度更高的区域信息表征向量,则该区域信息表征向量对应时间步LSTM状态向量自动赋予更大的权值,具体的公式表示为:
St=cos(Vectort,Vectorn) (5)
其中,cos(·)为余弦相似度计算函数,St为相似度,下标n表示当前时刻,即需要预测下一时刻信息的上一个当前时刻,下标t表示前面第t个时间跨步;
其中,αt为长短期神经网络对应时间步t的状态向量权值,Sj代表每个时间步计算得到的相似度,St为t时间步的相似度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东工业大学,未经广东工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910849154.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:图像处理方法、装置和设备
- 下一篇:神经网络压缩方法、图像处理方法及装置