[发明专利]一种数据流等值连接优化方法、系统及电子设备

权利要求书

1.一种数据流等值连接优化方法，其特征在于，包括以下步骤：

步骤a：利用汉明范数算法对接收到的多路数据流之间的独立元素进行差异性计算；

步骤b：根据所述差异性计算结果计算所述多路数据流之间的交集，得到所述多路数据流需要等值连接的元素个数；

步骤c：根据所述元素个数确定等值连接顺序，对所述多路数据流进行优化等值连接操作。

2.根据权利要求1所述的数据流等值连接优化方法，其特征在于，所述步骤a前还包括：

读取生成数据；

将所述数据上传至消息发布系统；

所述消息发布系统对所述数据进行分组，模拟多路数据流；

通过数据流处理平台接收所述多路数据流。

3.根据权利要求2所述的数据流等值连接优化方法，其特征在于，所述接收所述多路数据流的接收方式为基于Direct的方式。

4.根据权利要求1所述的数据流等值连接优化方法，其特征在于，在所述步骤a中，所述差异性计算公式为：|A-B|+|B-A|，其中A，B分别代表两个数据流的独立元素取值集合。

5.根据权利要求4所述的数据流等值连接优化方法，其特征在于，在所述步骤b中，所述多路数据流之间的交集计算公式为|A∩B|＝|A∪B|-(|A-B|+|B-A|)。

6.根据权利要求1至5任一项所述的数据流等值连接优化方法，其特征在于，在所述步骤c中，所述对所述多路数据流进行优化等值连接操作具体为基于滑动窗口机制进行多路数据流的优化等值连接操作。

7.根据权利要求6所述的数据流等值连接优化方法，其特征在于，在所述步骤c中，所述对所述多路数据流进行优化等值连接操作具体为采用左深树连接方式进行多路数据流的优化等值连接。

8.根据权利要求7所述的数据流等值连接优化方法，其特征在于，在所述步骤c中，所述对所述多路数据流进行优化等值连接操作还包括：每次等值连接时选取两个交集结果最小的数据流进行连接。

9.一种数据流等值连接优化系统，其特征在于，包括：

差异性计算模块：用于利用汉明范数算法对多路数据流之间的独立元素进行差异性计算；

交集计算模块：用于根据所述差异性计算结果计算所述多路数据流之间的交集，得到所述多路数据流需要等值连接的元素个数；

等值连接优化模块：用于根据所述元素个数确定等值连接顺序，对所述多路数据流进行优化等值连接操作。

10.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述1至8任一项所述的数据流等值连接优化方法的以下操作：

步骤a：利用汉明范数算法对接收到的多路数据流之间的独立元素进行差异性计算；

步骤b：根据所述差异性计算结果计算所述多路数据流之间的交集，得到所述多路数据流需要等值连接的元素个数；

步骤c：根据所述元素个数确定等值连接顺序，对所述多路数据流进行优化等值连接操作。