[发明专利]批量数据处理方法、装置、计算机设备及存储介质在审
| 申请号： | 201910405149.0 | 申请日： | 2019-05-16 |
| 公开（公告）号： | CN110297711A | 公开（公告）日： | 2019-10-01 |
| 发明（设计）人： | 朱鹏程;王培 | 申请（专利权）人： | 平安科技（深圳）有限公司 |
| 主分类号： | G06F9/50 | 分类号： | G06F9/50;G06F16/21;G06N20/00 |
| 代理公司： | 深圳众鼎专利商标代理事务所(普通合伙) 44325 | 代理人： | 黄章辉 |
| 地址： | 518000 广东省深圳市福田区福*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种批量数据处理方法、装置、计算机设备及存储介质，该方法包括：从非实时任务队列中选取目标批量任务，基于目标批量任务创建数据处理队列；从目标空闲时间队列中确定目标空闲信息，获取待处理数据对应的待处理数据数量，基于待处理数据数量、目标空闲时长和预估线程数，获取目标数量，在数据处理队列中选取与目标数量相对应的待处理数据，确定为切分处理数据；在系统原始负载小于忙碌负载阈值时，获取目标处理线程，在目标空闲时长内采用目标处理线程对切分处理数据进行数据处理，获取数据处理结果；基于数据处理结果，更新数据处理队列中每一切分处理数据的任务状态。该方法可以理分配系统资源，保障批量数据处理效率。 | ||
| 搜索关键词： | 待处理数据 数据处理队列 处理数据 数据处理 数据处理结果 计算机设备 存储介质 获取目标 时长 空闲 预估 分配系统资源 空闲时间队列 数据处理效率 处理线程 空闲信息 目标处理 任务创建 任务队列 任务状态 非实时 线程数 阈值时 线程 更新 | ||
【主权项】：
1.一种批量数据处理方法，其特征在于，包括：从非实时任务队列中选取目标批量任务，基于所述目标批量任务创建数据处理队列，所述数据处理队列包括待处理数据和对应的任务状态；从目标空闲时间队列中确定目标空闲信息，所述目标空闲信息包括起始时间、目标空闲时长和预估线程数；获取所述待处理数据对应的待处理数据数量，基于所述待处理数据数量、所述目标空闲时长和所述预估线程数，获取目标数量，在所述数据处理队列中选取与所述目标数量相对应的待处理数据，确定为切分处理数据；在系统当前时间为所述起始时间时，获取系统原始负载；若所述系统原始负载小于忙碌负载阈值，则认定系统处于空闲状态，获取与所述预估线程数相对应的目标处理线程，在所述目标空闲时长内采用所述目标处理线程对所述切分处理数据进行数据处理，获取数据处理结果；基于所述数据处理结果，更新所述数据处理队列中每一所述切分处理数据的任务状态。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于平安科技（深圳）有限公司，未经平安科技（深圳）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910405149.0/，转载请声明来源钻瓜专利网。
