[发明专利]跨域数据联接系统、跨域数据联接方法及节点

摘要

本发明提供一种跨域数据联接系统、跨域数据联接系统及节点，所述系统采用分布式系统架构，运行于HDFS集群节点上，不同的HDFS集群之间采用网络通道连接，每个集群开放一个节点提供对外文件存取服务，在HDFS的每个节点上维护一个系统进程，HDFS的对外服务节点接受跨HDFS的数据联接请求，并将结果最终汇聚到接收请求的节点，最终获得联接结果。本发明实施例可实现对不同HDFS集群内保存的结构化数据进行联接操作。

主权项

一种跨域数据联接系统，其特征在于，所述系统采用分布式系统架构，运行于HDFS集群节点上，不同的HDFS集群之间采用网络通道连接，每个集群开放一个节点提供对外文件存取服务，在HDFS的每个节点上维护一个系统进程，所述系统包括：HDFS的对外服务节点接受跨HDFS的数据联接请求，并将结果最终汇聚到接收请求的节点，最终获得联接结果；所述跨域数据联接系统要求参与联接的两HDFS集群通过网络联接，并各自开放一个节点提供对外文件存储服务；所述跨域数据联接系统在各HDFS数据中心的每个节点上维护一个系统进程，两HDFS集群之间经过对外服务节点RPC互相调用进行通信；同时，所述跨域数据联接系统对外提供兼容SQL语法规则的用户接口，并可实现跨HDFS数据中心的结构化数据联接操作；所述跨域数据联接系统采用分布式系统架构，运行于HDFS集群各个节点，各集群对外服务节点负责接受数据联接请求；当接收到数据联接的请求时，数据联接任务执行过程如下：接受请求节点首先对SQL语句进行语法和语义检查，若SQL语句存在语法或语义上的错误，则及时向用户返回；否则，对SQL语句做进一步分析，将原数据联接任务拆分成四个子任务：数据过滤子任务、数据传输子任务、数据联接子任务和数据汇聚子任务，最终形成任务树；任务拆分完成后，对外服务节点将对本地HDFS数据表按照SQL语句中包含的约束条件进行筛选；与此同时，通过RPC调用另一个HDFS集群对外服务节点的系统进程，同样对远程的HDFS数据表按照SQL语句中包含的约束条件进行筛选，最终分别在两个HDFS集群上形成两个表的筛选结果集；在进行数据传输之前，系统暂时不对分布在HDFS上的结果集进行汇总，而是比较两个结果集的大小；然后将较小结果集汇聚到其所在HDFS集群的对外服务节点，由该对外服务节点将小结果集传输到大结果集所在HDFS集群的 对外服务节点；大结果集对外服务节点在收到完整小结果集数据后，将小结果集数据分发给各大结果集数据所在节点；数据传输完成后，大结果集所在节点均保存部分大结果集和完整的小结果集；各节点对部分大结果集和完整小结果集进行笛卡尔积运算，并按照连接条件对运算结果进行筛选，最终得出数据联接结果；最终，各个节点数据联接结果重新汇总到对外服务节点，若当前对外服务节点为接收任务请求节点，则将结果在此返回给用户，否则传输到另外HDFS集群的对外服务节点。