[发明专利]一种海量高铁轴温数据的分布式时间序列模式检索方法

权利要求书

1.一种海量高铁轴温数据的分布式时间序列模式检索方法，其特征在于：包括以下步骤：

步骤1、设置检索的轴温数据基准时间序列模式s，确定检索模式的长度m，设定需要检索的最相似的模式个数为k；

所述轴温数据为高铁的轴承温度数据，采样周期为1s；

所述基准时间序列模式是在轴温数据中自定义选取的一个连续时间段的数据，长度为m；

步骤2、将待检索的海量历史轴温时间序列数据读取进分布式系统计算节点的内存中，构造初始分布式数据集X，并确定并行计算任务的个数n；

步骤3、为步骤2中分布式数据集X构建索引，根据时间顺序对数据集X中的每个元素从0开始编号，其中每个分区的编号任务是在不同节点并行进行计算的；数据集X中的每个元素转换为＜key,value＞键值对记录形式，其中，key为索引编号，value为对应时刻的轴温时间序列数值；

步骤4、根据基准时间序列模式的长度构造m-1个辅助分布式数据集Y_j，其中j∈(1,m-1)，将步骤3中分布式数据集X和辅助分布式数据集进行联结，构造出每个元素是一个长度为m的短时间序列的分布式数据集Z；

步骤4.1、根据设定的基准时间序列模式的长度m，构造出m-1个和步骤3中数据集X相同的辅助分布式数据集Y_j，其中j∈(1,m-1)；

步骤4.2、对m-1个辅助分布式数据集Y_j构建索引，其中Y_j的元素从-j开始编号；

步骤4.3、对分布式数据集X依次和m-1个辅助分布式数据集Y_j进行笛卡尔积操作，并将进行笛卡尔积的两个分布式数据集中具有相同索引key值的元素进行联结；

步骤4.4、经过步骤4.3之后，从步骤3中的数据集X构造出分布式数据集Z，Z的每个元素变为＜key,(value1,value2,...,valuem)＞；

其中，key为元素的索引，从0开始编号，value转换为长度为m的短时间序列；

步骤5、通过Spark计算引擎创建计算任务，每个计算任务的逻辑是计算基准时间序列模式和每个数据分区的元素之间的欧式距离，将每个计算任务分发到分布式系统中的若干节点并行计算，构造出分布式数据集R；

步骤6、对步骤5中的分布式数据集R根据欧式距离值进行全排序，取距离最小的前k个元素，并返回每个元素的索引；

步骤7、根据步骤6得到的索引取得步骤4中数据集Z中相应的元素，即得到了海量轴温历史时间序列数据集中与基准时间序列最相似的k个子时间序列。

2.根据权利要求1所述的一种海量高铁轴温数据的分布式时间序列模式检索方法，其特征在于：所述步骤2的具体方法为：

步骤2.1、将保存在硬盘存储介质中的历史轴温数据通过网络上传至分布式文件系统HDFS中；

步骤2.2、使用分布式Spark计算引擎读取存储在HDFS的海量轴温时间序列数据；

步骤2.3、设置要创建的分布式数据集的分区个数为n，Spark计算引擎根据设定的分区数将存储在HDFS上的轴温数据切分出n个数据块，为每个数据块创建一个分区，构造出分区数为n的弹性分布式数据集RDD对象X，X的每个元素为某一时刻的轴温数据值，并且X维护着分区的顺序及每个分区首个元素在整个数据集中的偏移量；

步骤2.4、根据分区数确定并行计算任务个数为n，Spark计算引擎为RDD对象X的每个数据分区创建一个计算任务分发到不同计算节点，任务之间相互独立，每个任务并行处理一个分区的数据。