[发明专利]一种数据处理方法和装置

说明书

本申请公开了数据处理方法和装置，涉及计算机技术领域，该方法包括：接收数据处理请求，调用数据计算及分析程序，根据数据处理请求，生成对应各数据库类型的查询语句；调用查询语句对应的数据库，执行查询语句，得到待处理数据；响应于确定待处理数据与预设报警规则匹配，生成报警任务，并输出至用户端，以供用户端基于报警任务对待处理数据进行处理。从而实现对异构数据源进行数据监控，通过对异构数据源指标的绝对值或计算值监控，极大降低用户的开发和维护成本，并保证数据的实时性和准确性。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据处理方法和装置。

背景技术

目前，在获取存储在不同数据库中的数据，以进行异构数据源中的数据监控时，通过接口或其他调度、计算引擎，将异构数据源中的数据经过清洗、计算，汇总到统一的一种数据库类型的表中，基于汇总结果表进行监控分析时，有较高的开发和维护成本，可复用性差，迭代周期慢，无法保障数据的实时性和准确性。或者通过分别对不同类型的数据源中的数据进行监控，由人工判断数据间的联系，进而做出业务处理决策，很容易受主观因素影响，忽略重要告警。

在实现本申请过程中，发明人发现现有技术中至少存在如下问题：

当获取存储在不同数据库中的数据，以进行异构数据源中的数据监控时，存在较高的开发和维护成本，无法保障数据的实时性和准确性。

发明内容

有鉴于此，本申请实施例提供一种数据处理方法和装置，能够解决现有的当获取存储在不同数据库中的数据，以进行异构数据源中的数据监控时，存在较高的开发和维护成本，可复用性差，无法保障数据的实时性和准确性的问题。

为实现上述目的，根据本申请实施例的一个方面，提供了一种数据处理方法，包括：

接收数据处理请求，进而调用数据计算及分析程序，以根据数据处理请求，生成对应各数据库类型的查询语句；

调用查询语句对应的数据库，以执行查询语句，得到待处理数据；

响应于确定待处理数据与预设报警规则匹配，生成报警任务，并输出至用户端，以供用户端基于报警任务对待处理数据进行处理。

可选地，在生成对应各数据库类型的查询语句之前，方法还包括：

获取数据处理请求中的数据库标识；

根据各数据库标识确定待处理数据对应的各数据库类型。

可选地，在接收数据处理请求之前，方法还包括：

调用检索监控任务服务，以获取数据处理任务列表；

确定数据处理任务列表中的各数据处理任务的执行时间；

响应于确定当前时间到达各执行时间中的一个执行时间，根据到达的执行时间对应的数据处理任务生成数据处理请求。

可选地，生成对应各数据库类型的查询语句，包括：

获取数据处理请求对应的数据指标配置信息；

根据各数据库类型拆分数据指标配置信息，得到拆分信息；

根据各数据库类型对应的查询语法拼接拆分信息，生成对应各数据库类型的查询语句。

可选地，生成对应各数据库类型的查询语句，还包括：

响应于确定开启同环比监控，获取对应的同环比周期，进而基于同环比周期、拆分信息和各数据库类型，生成对应各数据库类型的查询语句。

可选地，基于同环比周期、拆分信息和各数据库类型，生成对应各数据库类型的查询语句，包括：

以同环比周期替换拆分信息中的查询时间周期，生成替换后的拆分信息；