[发明专利]一种数据流等值连接优化方法、系统及电子设备

说明书

本申请涉及一种数据流等值连接优化方法、系统及电子设备。包括：利用汉明范数算法对接收到的多路数据流之间的独立元素进行差异性计算；根据所述差异性计算结果计算所述多路数据流之间的交集，得到所述多路数据流需要等值连接的元素个数；根据所述元素个数确定等值连接顺序，对所述多路数据流进行优化等值连接操作。本申请没有窗口大小的限制，在连接的过程中，不会丢失元组数据，保证了结果的正确性；此外，本申请的算法空间复杂度为常数级，数据备份量小，并可在数据流动态变化的情况下使用。

技术领域

本申请属于流数据处理技术领域，特别涉及一种数据流等值连接优化方法、系统及电子设备。

背景技术

Henzinger等人在1998年将数据流作为一种数据处理模型提出，他们将数据流定义为“只能按某种顺序读取一次的数据序列”。当前对数据流比较认可的定义为：所谓数据流S＝{a1,a2,……,ai}是指一个或多个设备源源不断产生的数据，这些数据产生的速度随着时间的变化而变化，同时，由于某些时间、存储等因素的限制，数据只能按照某种顺序读取一次或几次。

在大数据时代，信息来源丰富、种类多样，但每种数据流可能只提供部分信息，结合多种来源的数据，获取完整的信息成为势在必行的趋势。来自多个不同数据源的信息之间往往具有一定程度的关联性，需要将多个数据源的信息进行整合得出全面的信息。在多路数据流等值连接中，具有关联性的信息之间通过相同的连接属性结合在一起，如同一个地区的不同种类的传感器，可以将所处地区名称作为等值连接属性；对于执行等值连接操作而言，可以进一步优化等值连接谓词执行的次序，减少等值连接操作执行的次数。

因此，等值连接的顺序问题在数据流等值连接中十分重要。例如在中，可能比产生的中间结果少，执行效率高。

现有技术中，多路数据流连接优化的方案包括：

(1)ATR/CTR[Gu X,Yu P S,Wang H.Adaptive Load Diffusion for MultiwayWindowed Stream Joins.[C]//IEEE International Conference on DataEngineering.IEEE,2007.]：ATR/CTR是应对多个窗口数据流连接操作设计的自适应负载扩散算法。这两个算法可实现保留语义的元组路由的功能，实现细粒度的负载均衡和连接操作的正确性。

(2)D-Streams[Zaharia M,Das T,Li H,et al.Discretized Streams:Fault-Tolerant Streaming Computation at Scale[C]//Proceedings of the Twenty-FourthACM Symposium on Operating Systems Principles.ACM,2013.]将连续流分解为离散单元，并将它们作为Spark上的有序批处理作业进行处理。用于流连接的这种批处理只能提供近似结果，因为分离批次中的一些目标元组对可能彼此错过以进行连接操作。

(3)TimeStream[Qian Z,He Y,Su C,et al.TimeStream:Reliable streamcomputation in the cloud[C]//Proceedings of the 8th ACM European Conferenceon Computer Systems.ACM,2013.]设计的弹性替代和依赖追踪机制，确保了数据流计算的可依赖性。