[发明专利]一种基于spark框架的海面温度预测方法

权利要求书

1.一种基于spark框架的海面温度预测方法，其特征在于，包括如下步骤：

(1)在spark框架下启动动态时间归整DTW算法，并从分布式文件系统中将数据载入到Spark集群，完成数据的预处理；

(2)将完成预处理的数据collect到本地生成类比模式和参考模式；

(3)在Spark框架下，调用Spark的工作集群，计算类比模式与参考模式的动态时间归整距离DTW；

(4)按动态时间归整DTW距离的大小排序后，取出前k个类比模式作为训练集，训练一个具有预测能力的模型；

(5)将参考模式作为预测模型的输入得到输出结果，再对输出结果进行反归一化处理得到最终预测结果；

所述步骤(1)的实现方法如下：

(1-1)从分布式文件系统中载入数据到Spark集群；

所述数据存储在分布式文件系统上，启动spark集群，从分布式文件系统中分布式读取文件到Spark集群；

(1-2)数据预处理

读取数据后，需要对数据进行预处理，提取实验所需要的海面温度时间序列数据，去除冗余的信息；

所述步骤(2)的实现方法如下：

(2-1)collect到本地

collect将分布式的RDD返回为一个单机的Array数组；

(2-2)生成参考模式和类比模式

先取数组的后二十天的海面温度时间序列数据，将二十天中的前十五天的数据作为参考模式，后五天作为测试集，用以检验模型的精准度；类比模式将从去掉后二十天的海面温度时间序列数据中生成，以十五天为模式长度，从海面温度时间序列的第一个元素开始，依次间隔三天生成类比模式，并将各个模式的第一天在原序列中的位置t与类比模式、参考模式一起保存，便于后续在原序列中找到匹配出的类比模式的后五天的海面温度，便于预测模型的训练；

所述步骤(4)的实现方法如下：

(4-1)按动态时间归整DTW距离大小进行排序并取出前k个类比模式；

Spark框架的action类操作算子中的takeOrder函数，可以从小到大进行排序并返回最前面的指定个数的元素；通过各个类比模式的第一天在原序列中的位置t可以定位到类比模式的后五天海面温度数据，求平均值后作为五天的海面温预测结果；

(4-2)训练预测模型；

选择BP神经网络进行后期的预测，将上述的k个类比模式作为BP神经网络的输入，通过各个类比模式的第一天在原序列中的位置t可以定位到类比模式的后五天，将其作为BP神经网络的输出，通过梯度下降法对模型进行训练，从而得到一个具有预测能力的模型；

所述步骤(5)的实现方法如下：

(5-1)模型输出结果

将归一化处理后的测试集作为BP神经网络的输入，通过该模型得到输出结果；该结果是归一化处理后的结果，并不能作为最终预测结果；

(5-2)预测结果

进行反归一化处理，得到预测的五天内的海面温，与真实值求差后的绝对值即为每日的海面温度偏差，通过每日的海面温度偏差来评估模型的预测精度。

2.根据权利要求1所述的基于spark框架的海面温度预测方法，其特征在于，所述步骤(3)的实现方法如下：

(3-1)在Spark框架下，调用Spark集群

调用SparkContext的parallelize()，创建一个并行集合，对于数据集分割后的partition数目，spark集群会为每个partition运行一个task，以达到并行计算的目的；

(3-2)计算类比模式与参考模式的DTW距离

通过map操作，调用函数get_udf_distance()并行计算类比模式和参考模式的动态时间归整DTW距离；

在计算序列之间的动态时间归整DTW距离时，分两步进行：一是求出匹配距离矩阵即构建一个n×m矩阵，二是寻找最佳路径，即在矩阵网络中找到一条长度为K的最短路径，L＝(w₁，w₂，…，w_k)，其中max(n，m)≤K≤n+m-1；

最短路径选择需要满足以下约束条件：

1)边界条件

序列两点要对齐，确定了路径的起点为(A₁，C₁)，终点为(A_n，C_n)；

2)连续性

对于路径上的任意一点每次只能沿矩阵相邻元素移动；即如果w₁＝(A₁，C₁)那么对于路径的下一个点w₂＝(A，C)要满足(A-A₁)≤1和(C-C₁)≤1；

3)单调性

对于路径上的任意一点每次只能沿着时间轴单向移动；即如果w₁＝(A₁，C₁)那么对于路径的下一个点w₂＝(A，C)要满足(A-A₁)≥0和(C-C₁)≥0；

满足上述约束条件且对应路径距离最短的就是动距离，其用式(1)表示为

其中动态时间归整DTW距离刻画了参考模式和类比模式的相似程度，动态时间归整DT_W距离越小，表明两种模式越相似，反之，则越不相似；类比模式表示为A＝A₁，A₂，···，A_n-1，A_n，其中n代表类比模式的长度；参考模式表示为C＝C₁，C₂，···，C_m-1，C_m，其中m是参考模式的长度。