[发明专利]一种海量时间序列数据相似性连接计算方法

摘要

本发明涉及数据库技术领域，公开了一种在分布式环境下计算海量时间序列数据相似性连接的方法，包括以下步骤：S1、数据预处理，从海量数据集D中随机采样小数据集S；S2、针对采样数据S选取参考点并且建立SJT树，记做SJT_S；S3、将SJT_S树扩展为一棵完全树SJT_C；S4、对完全树SJT_C中的叶结点建立分区集合P＝{G₁,G₂,…G_i,…G_n}；S5、利用分布式计算框架MapReduce计算分区集合P＝{G₁,G₂,…G_i,…G_n}中相似性连接的比较数据对，获得海量时间序列数据集D中所有满足阈值的数据对。本发明针对相似性连接计算设计最大的优势在于通过分区信息对海量数据集剪枝，有效降低计算量，提高了计算效率，经过测试，本发明的方法优于Google提出的MAPSS和微软提出的ClusterJoin两种方法。

主权项

1.一种海量时间序列数据相似性连接计算方法，其特征在于，包括以下步骤：S1、从海量时间序列数据集D中随机采样小数据量的数据集S；S2、对采样的小数据量数据集S选取参考点并且建立SJT树，记做SJTS，利用SJT树剪枝非必要的相似性连接的比较数据对，基于SJT树，相似性连接的比较数据对包括：SJT树叶结点内部的比较数据对和SJT树叶结点之间的比较数据对；S3、将步骤S2生成的SJTS扩展为一棵完全树SJTC，使海量时间序列数据集D中的所有数据都存储在SJTC中；S4、对完全树SJTC中的叶结点建立分区集合P＝{G1,G2,…Gi,…Gn}，其中Gi为完全树SJTC对应的第i个叶结点集合，1≤i≤n；S5、利用分布式计算框架MapReduce计算分区集合P＝{G1,G2,…Gi,…Gn}中相似性连接的比较数据对，获得海量时间序列数据集D中所有满足阈值的数据对。