[发明专利]基于Hadoop大数据平台的数据处理系统

权利要求书

1.一种基于Hadoop大数据平台的数据处理系统，其特征在于，所述数据处理系统包括底层平台、接收组件、消息队列、采集组件、模型组件和汇总组件；所述底层平台为Hadoop大数据平台；

所述接收组件，用于接收交易请求报文，并将所述交易请求报文存入至所述消息队列；

所述采集组件，用于从所述消息队列中获取所述交易请求报文，并根据所述交易请求报文，生成请求对象；

所述模型组件，用于针对所述请求对象进行业务逻辑处理；

所述汇总组件，用于将所述请求对象进行汇总，得到汇总请求对象，并根据所述汇总请求对象提供交易服务；

所述底层平台、所述接收组件、所述消息队列、所述采集组件、所述模型组件和所述汇总组件之间，通过TCP异步传输的方式、且基于TCP协议Nagle算法进行数据传输。

2.根据权利要求1所述的系统，其特征在于，所述接收组件、所述采集组件、所述模型组件和所述汇总组件均包含接收线程、业务处理线程、发送线程、接收队列和发送队列。

3.根据权利要求2所述的系统，其特征在于，所述数据处理系统，用于从所述交易请求报文中解包出交易标识，并根据所述交易标识，将所述交易请求报文传递至目标模型组件；

当所述目标模型组件为多个时，所述接收组件将复制所述交易请求报文并分别发送至所述采集组件的发送队列中。

4.根据权利要求1所述的系统，其特征在于，所述模型组件部署有多个实例，所述多个实例部署在不同的节点上，上游组件根据路由表将所述交易请求报文传递至下游节点的实例。

5.根据权利要求1所述的系统，其特征在于，所述接收组件、所述采集组件、所述模型组件和所述汇总组件在启动时，创建临时节点，并对所述临时节点进行监控，在所述临时节点发生变化时，读取最新路由表信息，并根据所述最新路由表信息建立TCP连接。

6.根据权利要求1所述的系统，其特征在于，在所述接收组件、所述采集组件、所述模型组件和所述汇总组件启动成功后，在ZooKeeper指定目录中创建会话节点，所述会话节点用于对所述指定目录进行监控，以判断某个组件是否出现故障；当出现故障组件时，根据所述故障组件更新路由表，并恢复所述故障组件。

7.根据权利要求1所述的系统，其特征在于，所述底层平台、所述接收组件、所述消息队列、所述采集组件、所述模型组件和所述汇总组件之间按照生产者-消费者模式进行数据处理。

8.根据权利要求1所述的系统，其特征在于，通过Linux操作系统中的隔离进程组框架对组件实例进行资源隔离。

9.根据权利要求1所述的系统，其特征在于，所述接收组件、所述模型组件和所述汇总组件的通讯模板相同。

10.根据权利要求1所述的系统，其特征在于，每个组件实例在运行时通过TCP异步传输的方式传输系统日志，并通过大规模数据计算引擎批量分析所述系统日志，以判断所述交易请求报文是否被正确执行；所述系统日志还用于对交易数据进行核对。