[发明专利]基于缓冲池策略的批量数据集中化处理方法及系统

说明书

本公开涉及一种批量数据集中化处理方法和系统，方法运行于后台管理系统，其中，在后台管理系统中设立有任务池，方法包括以下步骤：步骤1、业务方通过客户端向后台管理系统上传业务数据，其中，业务数据包括需要向一个或多个合作方推送的业务数据；步骤2、后台管理系统从业务数据中提取涉及合作方的业务数据；步骤3、对于每个合作方，在任务池中各建立一条任务，其中，每条任务中记录了业务数据的推送状态；步骤4、向合作方推送业务数据，并根据推送情况，在任务中更新推送状态。本发明的有益效果在于：1、节省时间及很大的提高了用户体验；2、减轻了系统压力并且同一个用户可同时操作不同产品的批量数据导入，提高业务效率。

技术领域

本发明涉及基于数据处理的互联网服务技术领域，尤其涉及一种基于缓冲池策略的批量数据集中化处理方法及系统。

背景技术

目前，对于供业务方接入的互联网服务平台，如需由业务方上传业务数据，目前采用的方式主要有：1)业务方通过后台用excel批量上传数据，后台分批推送给合作方接口；2)excel批量上传，后台不分批推送。这两种方式存在以下几个问题：

1、业务方上传数据后，系统不能及时告知结果，需要等待所有数据传送成功后返回结果；

2、上传的数据量过大，耗时过久；

3、调用合作方接口时，对方接口返回过慢也会导致耗时过久；

4、前端等待时间过久会导致页面超时，会让业务方无法得知数据传送是否结束；

5、大批量的数据调用合作方接口，导致合作方接口压力过大，会出现调用超时，系统报错，也无法得知数据传送情况。

发明内容

考虑到现有技术的上述问题，发明人做出了本发明，其主要构思在于增加一个任务池，文件批量上传数据后，系统只验证数据文件中的数据结构，数据结构符合条件后即为上传成功，这时系统会自动生成一个任务放到任务池中，系统后台集中分批处理任务，操作人员只需要关注任务池中任务状态即可知悉任务执行情况，并在任务完成时可查看关联方的返回结果。

根据本发明的实施例，提供了一种批量数据集中化处理方法，其运行于后台管理系统，其中，在所述后台管理系统中设立有任务池，

其特征在于，所述批量数据集中化处理方法包括以下步骤：

步骤1、所述业务方通过客户端向所述后台管理系统上传业务数据，其中，所述业务数据包括需要向一个或多个所述合作方推送的业务数据；

步骤2、所述后台管理系统从所述业务数据中提取涉及所述合作方的业务数据；

步骤3、对于每个所述合作方，在所述任务池中各建立一条任务，其中，每条任务中记录了所述业务数据的推送状态；

步骤4、向所述合作方推送所述业务数据，并根据推送情况，在所述任务中更新所述推送状态。

根据本发明的实施例，所述推送状态包括“推送中”、“推送成功”、“推送失败”。

根据本发明的实施例，所述批量数据集中化处理方法还包括：

步骤5、向所述业务方通知所述推送状态。

根据本发明的实施例，所述批量数据集中化处理方法还包括：

步骤6、所述业务方可通过客户端，主动向所述后台管理系统查询特定任务的推送状态。

根据本发明的实施例，在所述步骤1中，所述业务方通过上传文件的方式，向所述后台管理系统上传所述业务数据。

根据本发明的实施例，在所述步骤1中，所述业务方每次上传一个或多个文件，每个文件中包括一条或多条业务数据，且每个文件对应于一个合作方。