[发明专利]一种海量高铁轴温数据的分布式时间序列模式检索方法有效
申请号: | 201811510849.8 | 申请日: | 2018-12-11 |
公开(公告)号: | CN109656887B | 公开(公告)日: | 2023-03-21 |
发明(设计)人: | 徐泉;解军帅 | 申请(专利权)人: | 东北大学 |
主分类号: | G06F16/14 | 分类号: | G06F16/14;G06F16/182;G06F16/2458 |
代理公司: | 沈阳东大知识产权代理有限公司 21109 | 代理人: | 刘晓岚 |
地址: | 110819 辽宁*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 海量 高铁轴温 数据 分布式 时间 序列 模式 检索 方法 | ||
1.一种海量高铁轴温数据的分布式时间序列模式检索方法,其特征在于:包括以下步骤:
步骤1、设置检索的轴温数据基准时间序列模式s,确定检索模式的长度m,设定需要检索的最相似的模式个数为k;
所述轴温数据为高铁的轴承温度数据,采样周期为1s;
所述基准时间序列模式是在轴温数据中自定义选取的一个连续时间段的数据,长度为m;
步骤2、将待检索的海量历史轴温时间序列数据读取进分布式系统计算节点的内存中,构造初始分布式数据集X,并确定并行计算任务的个数n;
步骤3、为步骤2中分布式数据集X构建索引,根据时间顺序对数据集X中的每个元素从0开始编号,其中每个分区的编号任务是在不同节点并行进行计算的;数据集X中的每个元素转换为<key,value>键值对记录形式,其中,key为索引编号,value为对应时刻的轴温时间序列数值;
步骤4、根据基准时间序列模式的长度构造m-1个辅助分布式数据集Yj,其中j∈(1,m-1),将步骤3中分布式数据集X和辅助分布式数据集进行联结,构造出每个元素是一个长度为m的短时间序列的分布式数据集Z;
步骤4.1、根据设定的基准时间序列模式的长度m,构造出m-1个和步骤3中数据集X相同的辅助分布式数据集Yj,其中j∈(1,m-1);
步骤4.2、对m-1个辅助分布式数据集Yj构建索引,其中Yj的元素从-j开始编号;
步骤4.3、对分布式数据集X依次和m-1个辅助分布式数据集Yj进行笛卡尔积操作,并将进行笛卡尔积的两个分布式数据集中具有相同索引key值的元素进行联结;
步骤4.4、经过步骤4.3之后,从步骤3中的数据集X构造出分布式数据集Z,Z的每个元素变为<key,(value1,value2,...,valuem)>;
其中,key为元素的索引,从0开始编号,value转换为长度为m的短时间序列;
步骤5、通过Spark计算引擎创建计算任务,每个计算任务的逻辑是计算基准时间序列模式和每个数据分区的元素之间的欧式距离,将每个计算任务分发到分布式系统中的若干节点并行计算,构造出分布式数据集R;
步骤6、对步骤5中的分布式数据集R根据欧式距离值进行全排序,取距离最小的前k个元素,并返回每个元素的索引;
步骤7、根据步骤6得到的索引取得步骤4中数据集Z中相应的元素,即得到了海量轴温历史时间序列数据集中与基准时间序列最相似的k个子时间序列。
2.根据权利要求1所述的一种海量高铁轴温数据的分布式时间序列模式检索方法,其特征在于:所述步骤2的具体方法为:
步骤2.1、将保存在硬盘存储介质中的历史轴温数据通过网络上传至分布式文件系统HDFS中;
步骤2.2、使用分布式Spark计算引擎读取存储在HDFS的海量轴温时间序列数据;
步骤2.3、设置要创建的分布式数据集的分区个数为n,Spark计算引擎根据设定的分区数将存储在HDFS上的轴温数据切分出n个数据块,为每个数据块创建一个分区,构造出分区数为n的弹性分布式数据集RDD对象X,X的每个元素为某一时刻的轴温数据值,并且X维护着分区的顺序及每个分区首个元素在整个数据集中的偏移量;
步骤2.4、根据分区数确定并行计算任务个数为n,Spark计算引擎为RDD对象X的每个数据分区创建一个计算任务分发到不同计算节点,任务之间相互独立,每个任务并行处理一个分区的数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东北大学,未经东北大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811510849.8/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置