[发明专利]一种数据处理方法、装置、设备及介质

权利要求书

1.一种数据处理方法，其特征在于，该方法包括：

基于预进行的业务，确定对应的结构化查询语言SQL文件；

获取配置文件中的配置参数；

根据所述配置参数和所述SQL文件，确定流式处理引擎flink任务；

基于所述配置参数，执行所述flink任务，对获取的待处理数据进行处理。

2.如权利要求1所述的方法，其特征在于，所述配置参数包括目标属性和目标属性对应的属性值，所述根据所述配置参数和所述SQL文件，确定流式处理引擎flink任务，包括：

将所述SQL文件中的目标属性使用所述配置参数中的对应的目标属性和属性值替换，得到替换后的SQL文件；其中，所述SQL文件中的目标属性为未有对应属性值的属性；

从所述替换后的SQL文件中获取SQL语句，并将所述SQL语句转化为所述flink任务。

3.如权利要求1所述的方法，其特征在于，所述基于所述配置参数，执行所述flink任务之后，所述方法还包括：

若所述flink任务执行异常，则基于设定的重试策略对所述flink任务进行重启。

4.如权利要求3所述的方法，其特征在于，所述方法还包括：

若在设定的第一时间间隔内所述flink任务的重启次数达到设定阈值，且所述flink任务重启失败，则结束所述flink任务；

根据所述配置文件，确定所述flink任务编号和检查点信息文件；

基于所述flink任务编号，在所述检查点信息文件中确定最近一次成功的检查点信息；

基于所述检查点信息，恢复所述flink任务。

5.如权利要求1所述的方法，其特征在于，所述配置参数包括并发参数和所需资源参数，所述获取配置文件中的配置参数之后，还包括：

若在设定的第二时间间隔内历史待处理数据的数据量大于或等于设定的第一阈值，则增加所述并发参数和所需资源参数中的部分或全部；

若在设定的第二时间间隔内历史待处理数据的数据量小于设定的第二阈值，则减少所述并发参数和所需资源参数中的部分或全部，其中，所述第一阈值大于所述第二阈值。

6.如权利要求5所述的方法，其特征在于，所述基于所述配置参数，执行所述flink任务，对获取的待处理数据进行处理，包括：

基于所述所需资源参数，利用资源管理系统yarn为所述flink任务分配对应的资源；

基于所述分配的资源，执行所述flink任务，对获取的待处理数据进行处理。

7.一种数据处理装置，其特征在于，该装置包括：

第一确定模块，用于基于预进行的业务，确定对应的结构化查询语言SQL文件；

获取模块，用于获取配置文件中的配置参数；

第二确定模块，用于根据所述配置参数和所述SQL文件，确定流式处理引擎flink任务；

处理模块，用于基于所述配置参数，执行所述flink任务，对获取的待处理数据进行处理。

8.如权利要求7所述的装置，其特征在于，所述配置参数包括目标属性和目标属性对应的属性值，所述第二确定模块，用于根据所述配置参数和所述SQL文件，确定流式处理引擎flink任务，包括：

将所述SQL文件中的目标属性使用所述配置参数中的对应的目标属性和属性值替换，得到替换后的SQL文件；其中，所述SQL文件中的目标属性为未有对应属性值的属性；

从所述替换后的SQL文件中获取SQL语句，并将所述SQL语句转化为所述flink任务。

9.如权利要求7所述的装置，其特征在于，所述处理模块用于基于所述配置参数，执行所述flink任务之后，还用于：

若所述flink任务执行异常，则基于设定的重试策略对所述flink任务进行重启。