[发明专利]一种基于Cassandra的数据并行处理系统

权利要求书

1.一种基于Cassandra的数据并行处理系统，包括Hadoop主节点、多个Hadoop子节点以及位于Hadoop子节点上的Cassandra存储端，其特征在于，

主节点包括用户接口模块、Cassandra查询模块、作业调度模块、作业队列模块、作业追踪器；

子节点包括任务追踪器、输入模块、输出模块以及Mapreduce模块；

用户接口模块用于接收用户请求，并判断用户请求的类型是数据查询请求、提交数据处理作业请求还是作业信息查询请求；如果是数据查询请求，则将其发送到Cassandra查询模块，如果是提交数据处理作业请求或作业信息查询请求，则将其发送到作业调度模块；

Cassandra查询模块用于根据接收来自于用户接口模块的数据查询请求在Cassandra系统中进行查询，并将查询的结果返回到用户接口模块；

作业调度模块用于将提交数据处理作业请求对应的作业提交给作业队列模块；

作业调度模块还用于判断该作业信息查询请求对应的作业信息是否为作业追踪器正在处理中的作业信息，若是，则直接将该作业信息返回给用户接口模块，否则在作业队列模块中查询是否存在有对应的作业信息，如果有则将该作业信息返回给用户接口模块，否则查询磁盘的日志文件中是否存在有该作业信息，如果有则将该作业信息返回给用户接口模块，否则返回作业不存在信息给用户接口模块；

作业队列模块用于将来自于作业调度模块的作业添加到其作业队列中，并将作业队列中队首的作业传送到作业追踪器；

作业追踪器用于将来自于作业队列模块的作业拆分成多个子任务，将每个子任务发送到各个子节点的任务追踪器，将存储端中存储的与该作业对应的待处理数据的存储位置信息以及存储端的网络拓扑信息传送到输入模块，并将处理后数据的存储位置信息传送到输出模块；

任务追踪器还用于接收来自主节点的作业追踪器的子任务，并将该子任务发送到Mapreduce模块；

Mapreduce模块用于根据子任务请求输入模块从存储端获取待处理数据；

输入模块用于根据来自作业追踪器的、与该作业对应的待处理数据的存储位置信息以及存储端的网络拓扑信息从存储端获取待处理数据，并将待处理数据发送到Mapreduce模块；

Mapreduce模块还用于对待处理数据进行计算，并将计算结果传送到输出模块；

输出模块用于根据来自于作业追踪器的、处理后数据的存储位置信息将计算结果发送到存储端中的对应位置。

2.根据权利要求1所述的数据并行处理系统，其特征在于，Cassandra查询模块维护一个Cassandra连接池和一个超时连接，当收到一个用户查询请求，首先检查当前超时连接是否超时，若没有超时，则直接使用当前连接向数据库提交查询请求，如果当前连接已超时，则释放当前连接，并从其维护的连接池中请求一个连接作为当前的连接，并使用当前连接向数据库提交查询请求。当向数据库提交数据查询请求之后，其等待数据库返回查询结果，并将查询结果转发给用户接口模块。

3.根据权利要求1所述的数据并行处理系统，其特征在于，作业追踪器正在处理中的作业信息包括作业进度和资源使用率信息。

4.根据权利要求1所述的数据并行处理系统，其特征在于，每个子任务都是由一个map或者reduce任务构成，map和reduce任务执行用户上传的作业包中的map函数和reduce函数，每个map函数处理根据其对应的输入模块的配置，读取存储在本地Cassandra节点的一段数据记录并处理。