[发明专利]一种高效的实现大规模数据交换的系统及其方法

摘要

本发明涉及大数据处理技术领域，特别是一种高效的实现大规模数据交换的系统及其方法。本发明包含任务解析模块、任务管理模块、线程池和数据接收模块，任务解析实现交换任务的操作解析和任务合成；任务管理实现任务优先级和任务激活；线程池实现任务调度和任务处理；数据接收实现数据订阅任务、数据集和消息接收。本发明的大规模数据交换系统和方法建立了一种具有优先级的交换任务处理模型，并且实现线程池并发处理的数据交换方式，整体交换性能高，能够满足普遍的大规模数据交换应用；可以用于大数据的交换处理。

主权项

一种高效的实现大规模数据交换的系统，其特征在于：所述的系统由以下模块构成：(1)任务解析模块：任务解析模块负责解析应用程序和数据接收模块发送过来的数据包，然后根据数据包的类型，确定进行对应的操作，如任务合成或数据存储等；(2)任务管理模块：任务管理模块负责将任务进行分类，同时计算任务优先级，然后将满足条件的任务提交给线程池处理；任务主要有三种：数据订阅任务、数据发布任务和实时消息；任务优先级由高到低为：实时消息、数据订阅任务、数据发布任务；(3)线程池：线程池主要负责根据任务结构体中的交换数据描述信息，生成对应的SQL语句，并进行对应的数据库操作，然后生成对应的交换数据集，最后将交换数据集和实时消息发送给数据订阅节点，或者将数据订阅任务和实时消息发送给数据共享节点；(4)数据接收模块：数据接收模块主要负责接收分布式节点发送过来的数据订阅任务、交换数据集和实时消息，然后通过数据校验后再发送给任务解析模块；数据接收模块具有多路传输的并发特性，以此保障数据传输的高效性。