[发明专利]一种基于rocketmq中间件的大批量数据处理方法及系统

说明书

本发明实施例提供一种基于rocketmq中间件的大批量数据处理方法，包括以下步骤：步骤一：从客户端上传数据文件至管理系统后台；步骤二：所述文件服务系统定时轮询所述数据文件，所述数据文件经过管理系统后台解析，生成若干个特定格式的数据；步骤三：所述管理系统后台将若干个特定格式的数据发送至rocketmq；步骤四：数据CRUD后台从所述rocketmq拉取的若干个特定格式的数据进行处理；本发明实施例减少文件系统等待时间，避免文件系统超时，并且一定程度上降低Oracle的IO压力，进而提高了文件管理系统更新数据的效率，提高用户的使用体验。

技术领域

本发明涉及大数据技术领域,更具体地说，涉及到一种基于rocketmq中间件的大批量数据处理方法及系统。

背景技术

客户使用本管理系统，涉及到大批量数据CRUD(数据查询，数据新增，数据更新，数据删除)，通常会用文档方式如Excel，提交需修改的数据给本管理系统，本管理系统上传到公司文件服务器，文件服务系统异步回调本管理系统，由本管理系统执行相关更新操作，本管理系统执行完毕后通知文件系统，文件系统通知客户执行结果。

随着应用的数据量成倍增长，数据库应用的数量已达百万级别，需要更新数据如果达到百万级别的数量，本管理系统更新数据时长就会成倍增加，文件服务系统等待本系统的回应时间也急剧变长，可能出现等待超时或其他错误，导致客户无法得知执行结果，影响产品使用体验，对此做出优化。

本发明内容

为了克服现有技术的不足，本发明提供一种基于rocketmq中间件的大批量数据处理方法用来解决文件系统等待时间长以及Oracle的IO压力比较大的问题。

本发明解决其技术问题所采用的技术方案是：提供一种基于rocketmq中间件的大批量数据处理方法，包括以下步骤：

步骤一：从客户端上传数据文件至管理系统后台；

步骤二：所述文件服务系统定时轮询所述数据文件，所述数据文件经过管理系统后台解析，生成若干个特定格式的数据；

步骤三：所述管理系统后台将若干个特定格式的数据发送至rocketmq；

步骤四：数据CRUD后台从所述rocketmq拉取的若干个特定格式的数据进行处理。

优选地，在从客户端上传数据文件至管理系统后台之前，所述步骤还包括：

预先将所述管理系统后台与所述rocketmq建立长连接。

优选地，从客户端上传数据文件至管理系统后台之后，所述步骤还包括：

所述管理系统后台检查所述数据文件的合法性；

优选地，所述管理系统后台检查所述数据文件的合法性，所述步骤包括：

当检查所述数据文件合法时，所述管理系统后台提交至文件服务系统；

当检查所述数据文件非法时，所述管理系统后台对所述数据文件进行清理。

优选地，当检查所述数据文件合法之后，所述步骤还包括：

所述管理系统后台向所述文件服务系统发送所述数据文件批量处理请求；

调用所述管理系统后台的处理接口；

所述管理系统后台提交至文件服务系统。

优选地，所述文件服务系统定时轮询所述数据文件之后，所述步骤还包括：

所述管理系统后台向所述文件服务系统发送目标通知，所述目标通知表示数据已经处理。

优选地，所述管理系统后台将若干个特定格式的数据发送至rocketmq之后，所述步骤还包括：