[发明专利]一种基于MapReduce框架的时间序列桥梁监测数据分析方法有效
申请号: | 201711119109.7 | 申请日: | 2017-11-14 |
公开(公告)号: | CN107895014B | 公开(公告)日: | 2021-01-08 |
发明(设计)人: | 史伟;颜飞;李畅;张兴;李万杰;李帅 | 申请(专利权)人: | 辽宁工业大学 |
主分类号: | G06F16/2458 | 分类号: | G06F16/2458;G06F16/2453;G06F16/215;G06Q10/04;G06Q10/06;G06Q50/08 |
代理公司: | 北京远大卓悦知识产权代理有限公司 11369 | 代理人: | 周明飞 |
地址: | 121001 辽*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 mapreduce 框架 时间 序列 桥梁 监测 数据 分析 方法 | ||
1.一种基于MapReduce框架的时间序列桥梁监测数据分析方法,其特征在于,包括以下步骤:
步骤1:对关于桥梁健康指标的时间序列原始数据进行预处理,得到有效数据;
步骤2:并行化改进ARIMA时间序列分析方法,并对预处理后的有效数据集进行ARIMA模型构建;
步骤3:根据所述ARIMA模型进行时间序列拟合,对未来值进行预测
其中,X(t)为时间序列,B为延迟算子,(1-B)为差分算子,d为差分次数,εt为白噪声序列,是模型的自回归系数,θ(B)为模型的移动平均系数;且θ(B)=1-θ1B-θ2B2-…-θpBp,(p,q)为模型阶数,是模型的自回归系数;θ1,θ2,……,θq是模型的移动平均系数;
步骤4:对分析结果进行展示,形成桥梁健康评价;
所述步骤1中,对原始数据进行预处理的方法包括无效数据清洗及插值法补齐缺失值;
所述无效数据清洗方法为对于原始数据中的单变量时间序列,采用聚类方法对其中孤立点进行替换;
基于聚类方法的孤立点替换方法包括以下步骤:
步骤1.1:建立单变量时间序列数据集x={xi|i=1,2,3,…n},其全局标准差为
步骤1.2:建立一个空数据集,从所述单变量时间序列数据集中选择任意一段数据,从数据段中第1个数据点xi开始,将xi加入所述空数据集中,得到新建数据集,并计算出此时所述新建数据集的标准差σ';
步骤1.3:比较σ'与全局标准差σ的大小关系,若σ'σ,说明xi相对所述单变量时间序列数据集并非孤立点,则对所述数据段继续向后进行遍历,检测xi+1是否为孤立点;若σ'≥σ,说明xi相对所述单变量时间序列数据集为孤立点,将xi从所述数据段中剔除,并将xi保存至孤立点数据集,对所述数据段继续向后进行遍历,检测xi+1是否为孤立点,直到将所述数据段中的所有孤立点剔除;
步骤4:对所述数据段在步骤1.3中剔除的孤立点数据做左右数据均值替换处理。
2.根据权利要求1所述的基于MapReduce框架的时间序列桥梁监测数据分析方法,其特征在于,所述步骤2中并行化改进ARIMA时间序列分析方法,包括以下步骤:
步骤2.1:获取被观测系统时间序列数据;
步骤2.2:对步骤2.1中的时间序列数据绘图,观测是否为平稳序列;对非平稳时间序列进行多次差分运算,直到化为平稳时间序列,其中差分运算的次数为d;
步骤2.3:对得到的平稳时间序列分别求得其自相关系数ACF和偏自相关系数PACF,通过对自相关图和偏自相关图分析,得到最佳的阶层p和阶数q;
步骤2.4:将由上述步骤所得到的d、q、p构建ARIMA模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于辽宁工业大学,未经辽宁工业大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711119109.7/1.html,转载请声明来源钻瓜专利网。