[发明专利]一种基于spark框架的海面温度预测方法

说明书

本发明公开了一种基于spark框架的海面温度预测方法，包括如下步骤：在spark框架下启动动态时间归整DTW算法，并从分布式文件系统中将数据载入到Spark集群，完成数据的预处理；将完成预处理的数据collect到本地生成类比模式和参考模式；在Spark框架下，调用Spark的工作集群，计算类比模式与参考模式的动态时间归整距离DTW；按动态时间归整DTW距离的大小排序后，取出前k个类比模式作为训练集，训练一个具有预测能力的模型；将参考模式作为预测模型的输入得到输出结果，再对输出结果进行反归一化处理得到最终预测结果。本发明通过历史海面温度时间序列数据预测出未来五天内的海面温度，有效克服了现有海面温度预报中预报效率和预报精度不高的问题。

技术领域

本发明涉及海面温度预测领域，具体地说，特别涉及到一种基于spark框架的海面温度预测方法。

背景技术

海面温度是研究海洋环境、全球水循环、气候的监测和预测中一个极其重要的参数。海表面单个记录点的历史温度数据，是典型的长时间序列数据，而且全球范围内的海表面温度数据量太过庞大，用传统的方法同时对全球的海表面温度进行预测时，处理数据的时效性无法保障，在一定程度上对预报效率有影响。因此如何使用大数据处理平台和新的处理技术来分析、预测并实时处理海面温数据，是一个亟待解决的问题。

时间序列相似性度量是数据挖掘中的关键技术，其主要任务是从模式数据库中寻找到与给定时间序列模式相似的时间序列模式。在海洋领域中，海面温度变化有一定的变化周期，通过时间序列相似性度量可以计算出海面温度时间序列模式之间的相似性，能够有效的发现其变化规律，并用于海温预报，具有广泛的应用价值。

近年来，海面温预报的研究方法总体上可概括为统计预报法、数值预报法和经验预报法。时间序列预测方法可分为线性预测方法和非线性预测方法两类，由于海面温具有非线性、非平稳的特性，因此人们逐渐将许多非线性时间序列的预测方法应用到海温预报中。Zhaojun Dong等人提出了基于相空间重构与模糊神经网络耦合的海温预测模型，在海温预报中引入混沌理论，挖掘出了海面温变化的空间信息，预测精度较高。Jiakang Li等人提出了基于改进EMD算法和BP神经网络的SST预测研究，有效解决了非平稳非线性序列预测的问题并提高了预测精度。Augo widodo等人提出了基于时间序列相似性的预测方法，有效的挖掘出了时间序列的潜在信息，在预测方面取得了较好的成果，但目前并未应用于海温预测中。Jianle Sun等人在对时间序列相似性度量方法和类比合成法的研究基础上，设计出了适用性较强的时间序列趋势预测模型，并以真实股票价格数据进行实验，取得了好的效果。

虽然许多非线性预测方法已经被广泛应用于海面温预测，但是这些方法依然存在以下三个问题：(1)如何高效的处理海量的海面温时间序列数据是一个巨大的挑战；(2)在长期预测中，预测的效果就不太理想，提高预报时长也是海温预报中的重点问题；(3)在区域预测中，部分地区差异性较大时，预测结果就不太好，因此预测方法的适用性有待提高。

发明内容

本发明的目的在于针对现有技术中的不足，提供一种基于spark框架的海面温度预测方法，其属于经验预报法，针对海面温自身变化的相似性，做出定量预报。在预测中分析自身变化的规律，而实质上是对影响海面温变化的各个要素作用后的结果进行分析，挖掘出海面温时间序列的潜在趋势，对海温预测具有重大意义。

本发明所解决的技术问题可以采用以下技术方案来实现：

本发明通过历史海面温度时间序列数据预测出未来五天内的海面温度，有效克服了现有海面温度预报中存在的数据量大导致预报效率不高、以及未充分利用挖掘出的海面温度时间序列的潜在趋势而使得预报精度不高的问题。

与现有技术相比，本发明的有益效果在于：

(1)将DTW算法设计在spark框架下运行，有效的提高了效率。

(2)通过DTW算法有效挖掘出时间序列潜在的信息，应用在海面温预测中提高了精度。