[发明专利]一种基于分布式的数据交换系统及方法

权利要求书

1.一种基于分布式的数据交换系统，其特征在于，包括：

异构数据接入模块，用于接入数据提供方提供的各类异构数据源数据；

数据标准管理模块，用于根据创建的数据标准化规则，将接入的各类异构数据源数据进行标准化得到标准化数据；根据交换配置管理模块的控制将从消息服务管理模块获取的标准化数据转化为接收方相应格式的异构数据；

交换配置管理模块，用于进行数据交换任务的创建，对数据交换任务的参数配置，定义数据交换规则，根据所述数据交换规则进行任务分配，并将任务分配信息发送到消息服务管理模块，根据从所述消息服务管理模块获取的任务反馈信息进行任务处理状态的监控；

消息服务管理模块，用于将交换配置管理模块下发的任务分配信息通知给数据交换集群模块，接收数据交换集群模块的任务反馈信息并通知给所述交换配置管理模块，暂存需要进行传输的标准化数据；

数据交换集群模块，用于接收所述任务分配信息，获取所述参数配置，根据所述任务分配信息和所述参数配置选择相应的服务器集群获取接收方所需数据的标准化数据并发送至消息服务管理模块，从所述数据标准管理模块获取接收方相应格式的异构数据并发送到接收方，对任务处理状态及异常信息进行监控并通过任务反馈信息反馈给消息服务管理模块。

2.根据权利要求1所述的基于分布式的数据交换系统，其特征在于，所述数据标准管理模块具体用于：根据数据的元数据建立异构数据与标准化数据的标准规范，基于所述标准规范进行异构数据源数据与标准化数据之间的格式转换。

3.根据权利要求1所述的一种基于分布式的数据交换系统，其特征在于，所述交换配置模块具体用于：

创建数据交换任务，其中，所述数据交换任务的类型包括定时任务和临时任务；

配置源、目标数据对象，选择执行任务的服务器集群，配置数据交换节点进程内并发规则和任务分片规则；

分配数据交换任务，其中，所述数据交换任务的类型包括：将新创建数据交换任务以及重新分配的数据交换任务；

通过接收消息服务管理模块发送的任务反馈信息监控任务处理状态，处理异常反馈。

4.根据权利要求3所述的基于分布式的数据交换系统，其特征在于，所述数据交换节点进程内并发规则具体包括：任务执行时的并发线程数量以及缓存的大小；所述任务分片规则具体包括：任务的拆解和分配机制，其中，所述任务分片规则一般分为平均分配和按负荷分配。

5.一种基于分布式的数据交换方法，基于权利要求1至4中任一项所述的一种基于分布式的数据交换系统，所述方法具体包括：

S1.通过异构数据接入模块接入数据提供方提供的各类异构数据源数据，通过数据标准管理模块根据创建的数据标准化规则，将接入的各类异构数据源数据进行标准化得到标准化数据；

S2.通过交换配置管理模块创建数据交换任务，配置数据交换任务的各项参数，定义数据交换规则，根据所述数据交换规则进行任务分配，并将任务分配信息通过消息服务管理模块将其通知给数据交换集群模块；

S3.通过数据交换集群模块接收所述任务分配信息，获取所述参数配置，根据所述任务分配信息和所述参数配置选择相应的服务器集群获取接收方所需数据的标准化数据并发送至消息服务管理模块；

S4.通过所述消息服务管理模块暂存需要进行传输的标准化数据，并通过所述数据标准管理模块根据交换配置管理模块的控制将从消息服务管理模块获取的标准化数据转化为接收方相应格式的异构数据，通过所述数据交换集群模块获取接收方相应格式的异构数据并发送到接收方；

S5.通过所述数据交换集群模块对任务处理状态及异常信息进行监控并将任务反馈信息通过消息服务管理模块反馈给交换配置管理模块，通过所述交换配置管理模块根据所述任务反馈信息进行任务处理状态的监控。

6.根据权利要求5所述的一种基于分布式的数据交换方法，其特征在于，所述通过数据标准管理模块根据创建的数据标准化规则，将接入的各类异构数据源数据进行标准化得到标准化数据具体包括：

根据数据的元数据建立异构数据与标准化数据的标准规范，基于所述标准规范进行异构数据源数据与标准化数据之间的格式转换。