[发明专利]实时数据的计算方法及系统

说明书

本发明公开了一种实时数据的计算方法及系统，通过获取实时业务对应的在线数据，基于预设目标算法为获取的所述在线数据生成对应的计算任务；提取历史数据对应的执行记录信息，根据所述执行记录信息，按照预设调度策略，为生成的所述计算任务分配对应的计算节点；将所述计算任务下发至对应的计算节点进行执行；通过可视化界面输出对应的计算结果；其中，所述计算结果为所述计算节点返回的执行所述计算任务得到的计算结果；达到了为不同计算节点合理配置对应计算任务的目的，提高了数据处理的稳定性和时效性。

技术领域

本发明涉及数据处理技术领域，特别涉及一种实时数据的计算方法及系统。

背景技术

实时数据处理平台中搭载的算法平台，通常会利用平台中集成的消息中间件，通过采集业务系统产生的日志文件，来收集原始的业务数据，并将收集到的原始的业务数据回传至实时数据处理平台。而现有的实时数据处理平台，原始的业务数据从采集到回传至实时数据处理平台，需要较长的延迟，且原始的业务数据经过算法的计算处理后，再将计算结果回写到实时数据处理平台，由对接的下游业务系统调用，这种处理方式也会导致处理延时的增加；因此，现有的实时数据处理平台的业务稳定性和时效性难以保障。

发明内容

本发明提供一种实时数据的计算方法及系统，用以对历史数据和在线数据进行实时计算，以便为不同计算节点合理配置对应的计算任务，提高数据处理的稳定性和时效性。

本发明提供了一种实时数据的计算方法，所述实时数据的计算方法包括：

获取实时业务对应的在线数据，基于预设目标算法为获取的所述在线数据生成对应的计算任务；

提取历史数据对应的执行记录信息，根据所述执行记录信息，按照预设调度策略，为生成的所述计算任务分配对应的计算节点；

将所述计算任务下发至对应的计算节点进行执行；

通过可视化界面输出对应的计算结果；其中，所述计算结果为所述计算节点返回的执行所述计算任务得到的计算结果。

优选地，所述历史数据对应的执行记录信息包括：所述历史数据对应的历史任务的执行状态、执行所述历史任务的计算节点的节点等级、所述历史任务之间的依赖关系、各历史任务分别对应的任务片段的参数优化和进度管控信息，以及所述计算任务被执行时所占用的系统资源和使用时间。

优选地，所述根据所述执行记录信息，按照预设调度策略，为生成的所述计算任务分配对应的计算节点，包括：

根据提取的所述执行记录信息，预估所述计算任务在执行时所需占用的系统资源、执行时间以及计算节点的节点等级；

根据预估结果，按照资源最优化的调度策略，为不同类型的计算任务分配不同的计算节点，且不同类型的计算任务的执行逻辑相互隔离。

优选地，所述通过可视化界面输出对应的计算结果，包括：

监控所述计算节点执行对应计算任务的运行状况；

根据监控到的运行状况，生成对应的监控记录文件；

解析所述监控记录文件，对所述监控记录文件进行异常分析；

若分析出所述监控记录文件存在异常时，向系统管理员发送对应的告警提示信息。

优选地，所述实时数据的计算方法还包括：

采集所述计算节点执行对应的计算任务所发送的心跳数据；

若在预设时长内未采集到所述计算节点发送的心跳数据，则将该计算节点上的计算任务切换至其他计算节点；其中，切换的其他计算节点包括：备用计算节点、当前空闲的计算节点；

根据切换结果，生成与所述计算任务切换相关的切换记录文件，并向系统管理员发送存在计算任务切换的告警提示信息；