[发明专利]一种数据处理方法、装置、设备及介质

说明书

本申请涉及数据处理领域，具体涉及一种数据处理方法、装置、设备及介质，用于解决现有利用流式处理引擎flink进行流处理/批处理的方法，需要深入了解flink内部开发原理，才能定制化开发每种业务逻辑，使得开发工作较复杂的问题。该方法包括：基于预进行的业务，确定对应的结构化查询语言SQL文件；获取配置文件中的配置参数；根据所述配置参数和所述SQL文件，确定flink任务；基于所述配置参数，执行所述flink任务，对获取的待处理数据进行处理。

技术领域

本公开涉及数据处理技术领域，具体涉及一种数据处理方法、装置、设备及介质。

背景技术

当前开源的流批处理框架主流分为spark(计算引擎)和flink(流式处理引擎)，在数据处理领域，flink被作为实时数据处理的首选方案，在批处理方面也同样有不俗的性能表现。

在工具成熟度方面flink相对于spark处于劣势。flink提供了应用于流处理的datastream API(Application Programming Interface，应用程序接口)，其是对数据流进行转换的常规程序，使用Java语言编写。flink提供了应用于流处理和批处理的table API和SQL API，需要开发人员把关于任务处理逻辑的SQL(Structured Query Language，结构化查询语言)代码高度集成至程序代码里。

上述利用datastream API、table API和SQL API进行流处理/批处理，都需要深入了解flink内部开发原理，才能定制化开发每种业务逻辑，使得开发工作较复杂。

发明内容

本申请实施例提供一种数据处理方法、装置、设备及介质，用于解决现有利用flink进行流处理/批处理的方法，需要深入了解flink内部开发原理，才能定制化开发每种业务逻辑，使得开发工作较复杂的问题。

第一方面，本申请提供一种数据处理方法，所述方法包括：

基于预进行的业务，确定对应的SQL文件；

获取配置文件中的配置参数；

根据所述配置参数和所述SQL文件，确定flink任务；

基于所述配置参数，执行所述flink任务，对获取的待处理数据进行处理。

本申请的实施例提供的技术方案，能够让开发人员在实际流批作业开发时，利用SQL语言进行开发作业，得到flink任务。使开发人员无需了解flink内部原理，只需要熟悉SQL语言，即可迅速开发出各种应用场景逻辑，相对原始的写Java代码利用底层API开发作业，降低了作业的技术开发难度，降低了业务系统错误，提升了作业的健壮性。

在一种可能的实施例中，所述配置参数包括目标属性和目标属性对应的属性值，所述根据所述配置参数和所述SQL文件，确定flink任务，包括：

将所述SQL文件中的目标属性使用所述配置参数中的对应的目标属性和属性值替换，得到替换后的SQL文件；其中，所述SQL文件中的目标属性为未有对应属性值的属性；

从所述替换后的SQL文件中获取SQL语句，并将所述SQL语句转化为所述flink任务。

本申请的实施例提供的技术方案，无需在SQL文件里明确指定目标属性对应的属性值，例如，数据库连接信息等，将目标属性和目标属性对应的属性值保存在配置参数中，再对SQL文件中的目标属性使用配置参数进行替换，从而保证了数据的安全。

在一种可能的实施例中，所述基于所述配置参数，执行所述flink任务之后，所述方法还包括：

若所述flink任务执行异常，则基于设定的重试策略对所述flink任务进行重启。

在一种可能的实施例中，所述方法还包括：