[发明专利]一种基于Cassandra的数据并行处理系统

摘要

本发明公开了一种基于Cassandra的数据并行处理系统，包括Hadoop主节点、多个Hadoop子节点以及位于Hadoop子节点上的Cassandra存储端，主节点包括用户接口模块、Cassandra查询模块、作业调度模块、作业队列模块、作业追踪器,子节点包括任务追踪器、输入模块、输出模块以及Mapreduce模块,用户接口模块用于接收用户请求，并判断用户请求的类型是数据查询请求、提交数据处理作业请求还是作业信息查询请求；如果是数据查询请求，则将其发送到Cassandra查询模块，如果是提交数据处理作业请求或作业信息查询请求，则将其发送到作业调度模块。本发明具有可靠性高、扩展性好、吞吐率高的优势以及针对数据简单查询快速响应的能力，同时又具备对海量数据的复杂处理能力。

主权项

一种基于Cassandra的数据并行处理系统，包括Hadoop主节点、多个Hadoop子节点以及位于Hadoop子节点上的Cassandra存储端，其特征在于，主节点包括用户接口模块、Cassandra查询模块、作业调度模块、作业队列模块、作业追踪器；子节点包括任务追踪器、输入模块、输出模块以及Mapreduce模块；用户接口模块用于接收用户请求，并判断用户请求的类型是数据查询请求、提交数据处理作业请求还是作业信息查询请求；如果是数据查询请求，则将其发送到Cassandra查询模块，如果是提交数据处理作业请求或作业信息查询请求，则将其发送到作业调度模块；Cassandra查询模块用于根据接收来自于用户接口模块的数据查询请求在Cassandra系统中进行查询，并将查询的结果返回到用户接口模块；作业调度模块用于将提交数据处理作业请求对应的作业提交给作业队列模块；作业调度模块还用于判断该作业信息查询请求对应的作业信息是否为作业追踪器正在处理中的作业信息，若是，则直接将该作业信息返回给用户接口模块，否则在作业队列模块中查询是否存在有对应的作业信息，如果有则将该作业信息返回给用户接口模块，否则查询磁盘的日志文件中是否存在有该作业信息，如果有则将该作业信息返回给用户接口模块，否则返回作业不存在信息给用户接口模块；作业队列模块用于将来自于作业调度模块的作业添加到其作业队列中，并将作业队列中队首的作业传送到作业追踪器；作业追踪器用于将来自于作业队列模块的作业拆分成多个子任务，将每个子任务发送到各个子节点的任务追踪器，将存储端中存储的与该作业 对应的待处理数据的存储位置信息以及存储端的网络拓扑信息传送到输入模块，并将处理后数据的存储位置信息传送到输出模块；任务追踪器还用于接收来自主节点的作业追踪器的子任务，并将该子任务发送到Mapreduce模块；Mapreduce模块用于根据子任务请求输入模块从存储端获取待处理数据；输入模块用于根据来自作业追踪器的、与该作业对应的待处理数据的存储位置信息以及存储端的网络拓扑信息从存储端获取待处理数据，并将待处理数据发送到Mapreduce模块；Mapreduce模块还用于对待处理数据进行计算，并将计算结果传送到输出模块；输出模块用于根据来自于作业追踪器的、处理后数据的存储位置信息将计算结果发送到存储端中的对应位置。