[发明专利]一种处理批量任务的方法、装置、计算设备及存储介质在审
申请号: | 201910775666.7 | 申请日: | 2019-08-21 |
公开(公告)号: | CN110457159A | 公开(公告)日: | 2019-11-15 |
发明(设计)人: | 王磊;江旻;李斌;黄俏龙;席俊杰 | 申请(专利权)人: | 深圳前海微众银行股份有限公司 |
主分类号: | G06F11/07 | 分类号: | G06F11/07 |
代理公司: | 11291 北京同达信恒知识产权代理有限公司 | 代理人: | 彭燕<国际申请>=<国际公布>=<进入国 |
地址: | 518027广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 实际数据 数据量参考 处理数据 触发条件 存储介质 计算设备 科技技术 有效监控 预测 申请 金融 决策 | ||
1.一种处理批量任务的方法,其特征在于,所述方法包括:
确定批量任务是否满足预设的批量处理触发条件;
在满足所述批量处理触发条件时,确定所述批量任务的实际数据量;
根据所述批量任务对应的历史批量处理数据,确定对所述批量任务进行批量处理的数据量参考范围;
若所述实际数据量未在所述数据量参考范围之内,则阻断对于所述批量任务的本次批量处理;
若所述实际数据量在所述数据量参考范围之内,则根据所述实际数据量对所述目标批量任务进行批量处理。
2.如权利要求1所述的方法,其特征在于,根据所述批量任务对应的历史批量数据,确定对所述批量任务进行批量处理的数据量参考范围,包括:
解析出所述批量任务中的待处理数据类型;
在所述历史批量数据中,确定所述待处理数据类型对应的参考特征对象,并调取各个所述参考特征对象对应的目标数据值,所述目标数据值用于表征所述参考特征对象在预设时长内对应的数据值;
根据所述批量任务对应的预先训练的批量任务预测模型和各个所述参考特征对象对应的目标数据值,确定各个所述参考特征对象对应的参考数据量,并根据各个所述参考特征对象对应的参考数据量,确定所述批量任务的数据量参考阈值;其中,所述批量任务预测模型是根据所述历史批量数据中的所述参考特征对象对应的数据值训练得到的;
根据所述批量任务的数据量参考阈值,确定所述数据量参考范围。
3.如权利要求2所述的方法,其特征在于,所述批量任务预测模型按照以下方式训练得到:
从所述历史批量数据包括的所有特征对象中,按照预设选择策略确定所述参考特征对象;其中,每个特征对象与所述待处理数据类型进行批量处理对应的数据量具有关联关系;
从所述历史批量数据中确定多个历史时间段,并分别提取每个历史时间段内的各个所述参考特征对象对应的数据值;
根据每个历史时间段内的各个所述参考特征对象对应的数据值,对初始的批量任务预测模型进行训练,以得到训练后的批量任务预测模型。
4.如权利要求3所述的方法,其特征在于,从所述历史批量数据包括的所有特征对象中,按照预设选择策略确定所述参考特征对象,包括:
确定各个特征对象与所述待处理数据类型进行批量处理对应的数据量之间的相关度;
将相关度满足预设筛选条件的特征对象确定为所述参考特征对象。
5.如权利要求3所述的方法,其特征在于,从所述历史批量数据包括的所有特征对象中,按照预设选择策略确定所述参考特征对象,包括:
从所述所有特征对象中,选择预定特征对象作为所述参考特征对象。
6.如权利要求2所述的方法,其特征在于,确定各个所述参考特征对象对应的参考数据量,包括:
确定各个所述参考特征对象在第一预定时长内的对象增量;
根据所述批量任务预测模型和各个所述参考特征对象在所述第一预定时长内的对象增量,确定各个所述参考特征对象对应的数据增量;
根据各个所述参考特征对象在第二预定时长内的数据量和在所述第一预定时长内的数据增量,确定各个所述参考特征对象对应的参考数据量。
7.如权利要求6所述的方法,其特征在于,根据各个所述参考特征对象对应的参考数据量,确定所述批量任务的数据量参考阈值,包括:
确定所述批量任务的数据量在第三预定时长内的平均增长幅度;
根据所述平均增长幅度和各个所述参考特征对象对应的参考数据量,确定所述批量任务的数据量参考阈值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳前海微众银行股份有限公司,未经深圳前海微众银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910775666.7/1.html,转载请声明来源钻瓜专利网。