[发明专利]任务数据处理方法、装置、计算机设备和存储介质

说明书

本申请涉及一种任务数据处理方法、装置、计算机设备和存储介质。所述方法包括：基于预设的统计任务对第一终端发送的业务请求进行拦截，得到任务数据；确定预先配置的统计任务的任务等级；根据所述任务等级的分流配置信息，将所述任务数据存储至内存进行实时处理，将实时处理的结果存储至内存，或存储至数据库进行批量处理，将批量处理结果存储至数据库；当接收到第二终端发送的数据查询请求时，在内存读取所述实时处理的结果，或在所述数据库读取所述批量处理的结果。采用本方法能够提高任务数据处理及时性。

技术领域

本申请涉及计算机技术领域，特别是涉及一种任务数据处理方法、装置、计算机设备和存储介质。

背景技术

互联网金融等行业的数据规模日趋庞大，业务数据的统计分析成为了各项业务的核心需求之一。目前，大多业务系统采用“跑批”的方式对业务数据进行处理。跑批又称作“批量处理”，是指对一定时段内产生的零散业务数据进行整合统计，生成报表。但随着业务数据的数据量日趋增加，跑批需要的时间越来越长，难以满足实时性的统计分析需求。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高任务数据处理及时性的任务数据处理方法、装置、计算机设备和存储介质。

一种任务数据处理方法，所述方法包括：基于预设的统计任务对第一终端发送的业务请求进行拦截，得到任务数据；确定预先配置的所述统计任务对应的任务等级；根据所述任务等级的分流配置信息，将所述任务数据存储至内存进行实时处理，将实时处理的结果存储至内存，或存储至数据库进行批量处理，将批量处理的结果存储至数据库；当接收到第二终端发送的数据查询请求时，在内存读取所述实时处理的结果，或在所述数据库读取所述批量处理的结果。

在一个实施例中，所述基于预设的统计任务对第一终端发送的业务请求进行拦截之前，还包括：获取第二终端预配置的统计需求信息；识别所述统计需求信息对应的多个业务请求；在所述业务请求对应的业务脚本中插入请求拦截脚本；根据所述统计需求添加所述业务请求对应的任务标签及任务等级。

在一个实施例中，所述将所述任务数据存储至内存进行实时处理包括：将所述任务数据存储至内存；根据任务等级确定所述内存中多个统计任务的处理次序；按照所述处理次序将多个统计任务分发至集群内相应的服务节点，使所述服务节点对接收的统计任务的任务数据实时处理，将实时处理结果存储至内存。

在一个实施例中，所述按照所述处理次序将多个统计任务分发至集群内相应的服务节点，包括：计算所述统计任务的任务量，根据任务量确定统计任务的资源分配参数；根据所述资源分配参数，将所述统计任务分配至集群内指定服务节点执行；监测集群中每个服务节点在监控时段的性能指标；根据所述性能指标对所述资源分配参数进行调整，并将统计任务调度至与调整后的资源分配参数相适应的物理资源执行。

在一个实施例中，所述业务请求包含业务标识；所述根据所述性能指标对所述资源分配参数进行调整包括：获取业务标识对应的初始的配置文件；所述配置文件记录了负载均衡策略；基于所述性能指标对所述负载均衡策略进行调整，将调整后的负载均衡策略和相应业务标识存储至数据库；调用文件转换组件在数据库中读取新增的负载均衡策略；将读取到的负载均衡策略转换为所述业务标识当前对应的配置文件；执行当前的配置文件，使调整后的负载均衡策略生效；根据调整后的负载均衡策略，将所述统计任务分配至相应服务节点处理。

在一个实施例中，所述将所述任务数据存储至数据库进行批量处理包括：将所述统计任务存储至数据库；获取所述数据库的空闲时间；在所述数据库的空闲时间内对所述统计任务批量处理；将批量处理结果存储至所述数据库。