[发明专利]基于自注意力双向长短期记忆网络的时序数据监测方法有效

专利信息
申请号: 202010159544.8 申请日: 2020-03-10
公开(公告)号: CN111352977B 公开(公告)日: 2022-06-17
发明(设计)人: 卢建刚;罗轶凡;陈金水 申请(专利权)人: 浙江大学
主分类号: G06F16/2458 分类号: G06F16/2458;G06K9/62;G06N3/04;G06N3/08;G06Q50/04
代理公司: 浙江杭州金通专利事务所有限公司 33100 代理人: 刘晓春
地址: 310027 浙*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 注意力 双向 短期 记忆 网络 时序 数据 监测 方法
【说明书】:

发明提供了一种基于自注意力双向长短期记忆网络的时序数据监测方法,包括:S1,获取预设时间段内待监测设备的时序数据,并采用数据预处理算法转化为可输入自注意力双向长短期记忆网络模型的标准数据;S2,将处理后数据输入双向长短期记忆网络,将输入序列转化为两个特征向量,拼接得到输出特征向量;S3,S2中的输出特征向量经自注意力网络得到各时刻的注意力分数,将该分数赋权到输出特征向量上,得到最终的输出特征向量;S4,最终的输出特征向量经全连接分类器网络得到预测概率;S5,获取非预设时间段内待监测设备的时序数据并转化为标准数据,输入到训练完成的模型中,得到预测结果,实现基于自注意力双向长短期记忆网络的时序数据监测。

技术领域

本发明涉及工业时间序列处理和工业大数据应用领域,具体来说是一种基于自注意力双向长短期记忆网络的时序数据监测方法。

背景技术

目前,对于工业领域时序数据建模策略主要可以分为两大类,第一类为机理建模,主要利用物理或化学机理进行理论分析和研究,建立机理模型。第二类主要以传感器采集的实时工况数据建立数据驱动模型,建模目标在于建立从以工况参数为主要变量,其他环境因素为辅助变量到相关目标预测的函数关系。

对比机理建模的思路,基于数据驱动建模的方法弱化了对复杂机理模型的研究,在充足数据的前提下,即使对某些很难建立机理模型的复杂系统,数据驱动模型也能够取得非常好的效果。先进控制系统的发展和普及,使得复杂系统能够记录各种工况下的大量数据,一定程度上也为数据驱动建模发展打下了坚实的基础,基于统计学习的数据驱动建模方法已经应用于化工、控制、计算机等多个领域。

但是对于统计学习模型而言,其捕捉特征的维度仅是数据的输入特征维度,而对于时间序列数据,随着时间变化而导致数据状态的变化是非常明显的,在时间维度上前后存在关联,统计学习模型对此无能为力。因此,可以利用深度学习中的时间序列模型对当前存在的算法做进一步的改进,充分利用数据中的时序信息提高检测精度。

发明内容

针对现有工业时序数据模型存在的上述问题,本发明提供了一种基于自注意力双向长短期记忆网络的时序数据监测方法,对工业时序工况数据建立深度时序学习模型,提高了检测精度。

为此,本发明采用如下解决方案:

S1,获取预设时间段内由待监测生产设备的工况数据构成的时序数据X={x1,x2…xt}和对应的数据标签Y={y1,y2…yt},并将所述时序数据采用数据预处理算法转化为可以输入到自注意力双向长短期记忆网络模型的标准数据所述数据预处理算法包括PauTa准则法、标准差标准化法与数据划分法,所述自注意力双向长短期记忆网络模型包括双向长短期记忆网络、自注意力网络与分类器网络;

S2,所述双向长短期记忆网络,包括正向长短期记忆网络与逆向长短期记忆网络,所述正向长短期记忆网络的输入为所述标准数据的正向序列{x′1,x′2…x′k},所述逆向长短期记忆网络的输入为所述标准数据的逆向序列{x′k,x′k-1…x′1},所述正向序列与所述逆向序列通过双向长短期记忆网络转化为两个稠密的特征向量,将两个特征向量进行拼接,得到所述双向长短期记忆网络的输出特征向量;

S3,将所述双向长短期记忆网络的输出特征向量输入到S1所述的自注意力网络中,经全连接神经网络和Softmax层可以计算输入序列中每个时刻与输入序列中其他时刻的注意力分数,所述注意力分数的数值范围在[0,1]之间,数值越大,表明输入序列中该时刻对最终结果的贡献越大,将计算得到的所述注意力分数通过矩阵点乘的方式赋权到所述双向长短期记忆网络的输出特征向量上,得到所述自注意力双向长短期记忆网络的最终输出特征向量;

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江大学,未经浙江大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010159544.8/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top