[发明专利]基于Hadoop大数据平台的数据处理系统

说明书

本申请涉及一种基于Hadoop大数据平台的数据处理系统，包括：底层平台、接收组件、消息队列、采集组件、模型组件和汇总组件；底层平台为Hadoop大数据平台，接收组件用于接收交易请求报文并将交易请求报文存入至消息队列；采集组件用于从消息队列中获取交易请求报文并根据交易请求报文生成请求对象；汇总组件用于将请求对象进行汇总得到汇总请求对象并根据汇总请求对象提供交易服务；组件之间通过TCP异步传输的方式、且基于TCP协议Nagle算法进行数据传输。本申请能够满足大规模高并发、高响应的交易场景对数据处理效率的需求。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种基于Hadoop大数据平台的数据处理系统。

背景技术

MVC(Model View Controller，基于用户界面的业务模型控制器)是基于模(Model(模型)－视图(View)－控制器(Controller)的一种系统设计典范，其通过业务逻辑、数据、界面显示分离的方法组织代码，将业务逻辑聚集到一个部件里面，在改进和个性化定制界面及用户交互的同时，不需要重新编写业务逻辑。MVC用于映射传统的输入、处理和输出功能在一个逻辑的图形化用户界面的结构中。

然而，基于传统的MVC框架构建的数据处理系统，数据处理效率有限，无法满足大规模高并发、高响应的交易场景对数据处理效率的需求。

因此，目前的数据处理系统存在着无法满足大规模交易场景的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够满足大规模交易场景的数据处理系统。

一种基于Hadoop大数据平台的数据处理系统，所述数据处理系统包括底层平台、接收组件、消息队列、采集组件、模型组件和汇总组件；所述底层平台为Hadoop大数据平台；

所述接收组件，用于接收交易请求报文，并将所述交易请求报文存入至所述消息队列；

所述采集组件，用于从所述消息队列中获取所述交易请求报文，并根据所述交易请求报文，生成请求对象；

所述模型组件，用于针对所述请求对象进行业务逻辑处理；

所述汇总组件，用于将所述请求对象进行汇总，得到汇总请求对象，并根据所述汇总请求对象提供交易服务；

所述底层平台、所述接收组件、所述消息队列、所述采集组件、所述模型组件和所述汇总组件之间，通过TCP异步传输的方式、且基于TCP协议Nagle算法进行数据传输。

在另一个实施例中，所述接收组件、所述采集组件、所述模型组件和所述汇总组件均包含接收线程、业务处理线程、发送线程、接收队列和发送队列。

在另一个实施例中，所述数据处理系统，用于从所述交易请求报文中解包出交易标识，并根据所述交易标识，将所述交易请求报文传递至目标模型组件；

当所述目标模型组件为多个时，所述接收组件将复制所述交易请求报文并分别发送至所述采集组件的发送队列中。

在另一个实施例中，所述模型组件部署有多个实例，所述多个实例部署在不同的节点上，上游组件根据路由表将所述交易请求报文传递至下游节点的实例。

在另一个实施例中，所述接收组件、所述采集组件、所述模型组件和所述汇总组件在启动时，创建临时节点，并对所述临时节点进行监控，在所述临时节点发生变化时，读取最新路由表信息，并根据所述最新路由表信息建立TCP连接。

在另一个实施例中，在所述接收组件、所述采集组件、所述模型组件和所述汇总组件启动成功后，在ZooKeeper指定目录中创建会话节点，所述会话节点用于对所述指定目录进行监控，以判断某个组件是否出现故障；当出现故障组件时，根据所述故障组件更新路由表，并恢复所述故障组件。