[发明专利]一种基于rocketmq中间件的大批量数据处理方法及系统

权利要求书

1.一种基于rocketmq中间件的大批量数据处理方法，其特征在于，包括以下步骤：

步骤一：从客户端上传数据文件至管理系统后台；

步骤二：所述文件服务系统定时轮询所述数据文件，所述数据文件经过管理系统后台解析，生成若干个特定格式的数据；

步骤三：所述管理系统后台将若干个特定格式的数据发送至rocketmq；

步骤四：数据CRUD后台从所述rocketmq拉取的若干个特定格式的数据进行处理。

2.根据权利要求2所述的一种基于rocketmq中间件的大批量数据处理方法，其特征在于，在从客户端上传数据文件至管理系统后台之前，所述步骤还包括：

预先将所述管理系统后台与所述rocketmq建立长连接。

3.根据权利要求2所述的一种基于rocketmq中间件的大批量数据处理方法，其特征在于，从客户端上传数据文件至管理系统后台之后，所述步骤还包括：

所述管理系统后台检查所述数据文件的合法性。

4.根据权利要求3所述的一种基于rocketmq中间件的大批量数据处理方法，其特征在于，所述管理系统后台检查所述数据文件的合法性，所述步骤包括：

当检查所述数据文件合法时，所述管理系统后台提交至文件服务系统；

当检查所述数据文件非法时，所述管理系统后台对所述数据文件进行清理。

5.根据权利要求4所述的一种基于rocketmq中间件的大批量数据处理方法，其特征在于，当检查所述数据文件合法之后，所述步骤还包括：

所述管理系统后台向所述文件服务系统发送所述数据文件批量处理请求；

调用所述管理系统后台的处理接口；

所述管理系统后台提交至文件服务系统。

6.根据权利要求5所述的一种基于rocketmq中间件的大批量数据处理方法，其特征在于，所述文件服务系统定时轮询所述数据文件之后，所述步骤还包括：

所述管理系统后台向所述文件服务系统发送目标通知，所述目标通知表示数据已经处理。

7.根据权利要求6所述的一种基于rocketmq中间件的大批量数据处理方法，其特征在于，所述管理系统后台将若干个特定格式的数据发送至rocketmq之后，所述步骤还包括：

所述rocketmq接收到从所述管理系统后台的单个特定格式的数据文件；

预先设置Message Topic；

所述Message Topic以多Queue队列进行存储；

所述rocketmq内部的队列选择器采用Queue队列轮询算法进行轮询，以使得每一个Queue队列的消息投递数量均匀。

8.根据权利要求7所述的一种基于rocketmq中间件的大批量数据处理方法，其特征在于，所述rocketmq内部的队列选择器采用Queue队列轮询算法进行轮询之后，所述步骤还包括：

所述数据CRUD后台对所述Message Topic进行监听。

9.根据权利要求8所述的一种基于rocketmq中间件的大批量数据处理方法，其特征在于，数据CRUD后台从所述rocketmq拉取的若干个特定格式的数据进行处理之后，所述步骤还包括：

所述数据CRUD后台将单个特定格式的数据文件对应的个数据处理结果逐条缓存至数据库；

当所有数据处理完成之后，从所述缓存数据库中提取全部处理结果，生成一个Excel回执文件；

将所述Excel回执文件发送至所述文件服务系统。

10.一种基于rocketmq中间件的大批量数据处理系统，其特征在于，所述系统包括：

上传单元，用于从客户端上传数据文件至管理系统后台；

轮询单元，用于所述文件服务系统定时轮询所述数据文件，所述数据文件经过管理系统后台解析，生成若干个特定格式的数据；

发送单元，用于所述管理系统后台将若干个特定格式的数据发送至rocketmq；

处理单元，用于数据CRUD后台从所述rocketmq拉取的若干个特定格式的数据进行处理。