[发明专利]一种海量高铁轴温数据的分布式时间序列模式检索方法

说明书

本发明提供一种海量高铁轴温数据的分布式时间序列模式检索方法，涉及时间序列分析技术领域。该方法首先设置检索基准时间序列模式及需要检索的最相似的模式个数；将待检索的历史轴温时间序列数据读取进分布式系统中，构造分布式数据集X；然后为X的元素构建索引；根据基准时间序列的长度构造多个辅助分布式数据集，将X和辅助数据集进行联结，构造分布式数据集Z，其每个元素为一个短时间序列；计算基准时间序列和Z的元素之间的欧式距离，构造出分布式数据集R；对R进行排序，取最小的k个元素，返回对应元素的索引；根据索引取得数据集Z中相应的元素。本发明的海量高铁轴温数据的分布式时间序列模式检索方法，提高了海量轴温时间序列数据的相似性检索效率。

技术领域

本发明涉及时间序列分析技术领域，尤其涉及一种海量高铁轴温数据的分布式时间序列模式检索方法。

背景技术

时间序列是一种和时间相关联、具有先后次序的数值序列或符号序列，在金融、气象、故障诊断等领域应用非常广泛。高铁轴温数据作为高铁日常运维数据的重要组成部分，具有典型的时间序列特征，对时间序列的分析处理也是目前高铁故障诊断研究的一个重要方向，包括异常模式的检索、模式挖掘、聚类等。由于高铁轴温传感器数量多、采集频率快，因此高铁轴温数据具有数据量大、维度高、更新频率高等特点，即具有典型的大数据特征。因此如何对高铁海量轴温数据组成的庞大的时间序列的高效处理，是目前需要研究和待解决的问题。

时间序列的相似模式检索问题可描述为给定某时间序列模式，从一个大型的时间序列中找出与之最相似的若干子序列，时间序列相似性检索是其他时间序列分析任务实现的前提，比如异常检测和模式识别等。目前的时间序列相似模式检索方法主要采用单机方法对时间序列进行串行的检索，找出相似性符合要求的所有子序列模式。但是由于机器性能的限制，单机方法能够处理的数据量有限，且计算的效率低下，难以满足海量轴温时间序列数据的检索需求。

目前大数据和云计算的发展，使得数据的分布式并行计算成为了可能，极大的提高了数据处理的能力和效率，为海量轴温时间序列数据的分析问题提供了解决的思路。为了提高海量轴温时间序列数据的检索效率，需要研究分布式的时间序列相似模式检索方法。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种海量高铁轴温数据的分布式时间序列模式检索方法，使用分布式计算节点组成的大数据处理集群，通过将数据分发到集群不同节点的内存中，当集群运行计算任务时，将计算任务分解分发到不同的节点，从而实现时间序列相似模式的并行检索。

为解决上述技术问题，本发明所采取的技术方案是：一种海量高铁轴温数据的分布式时间序列模式检索方法，包括以下步骤：

步骤1、设置检索的轴温数据基准时间序列模式s，确定检索模式的长度m，设定需要检索的最相似的模式个数为k；

所述轴温数据为高铁的轴承温度数据，采样周期为1s；

所述基准时间序列模式是在轴温数据中自定义选取的一个连续时间段的数据，长度为m；

步骤2、将待检索的海量历史轴温时间序列数据读取进分布式系统计算节点的内存中，构造初始分布式数据集X，并确定并行计算任务的个数n，具体包括以下步骤：

步骤2.1、将保存在硬盘存储介质中的历史轴温数据通过网络上传至分布式文件系统HDFS(Hadoop Distributed File System)中；

步骤2.2、使用分布式Spark计算引擎读取存储在HDFS的海量轴温时间序列数据；