[发明专利]基于Flink的可视化开发在线调试方法及装置

说明书

本发明公开一种基于Flink的可视化开发在线调试方法及装置，涉及大数据技术领域，能够提升Flink程序开发调试的效率。该方法包括：预设数据源文件格式和业务逻辑文件格式，其中数据源包括事件时间和事件数据；获取数据源并按照数据源文件格式执行格式转换，将转换得到的数据源文件上传服务器保存；基于业务逻辑文件格式构建抽象业务逻辑，同时根据抽象业务逻辑中的设定条件从服务器中过滤出有效数据源文件，执行模拟计算后输出模拟结果文件或错误反馈日志；根据模拟结果文件或错误反馈日志，在线调试抽象业务逻辑或修改对应的错误代码。该装置应用有上述方案所提的方法。

技术领域

本发明涉及大数据技术领域，尤其涉及一种基于Flink的可视化开发在线调试方法及装置。

背景技术

随着互联网公司业务的快速发展，随之产生的数据也呈井喷式增长，这就要求实时平台部门需为业务部门提供易用、稳定和高效的实时数据服务，因此，基于数据的实时计算业务在近年来逐渐兴起，并且被越来越多的投入线上使用，如实时推荐业务、双十一销售实时大屏展示业务、实时反欺诈业务等。

大数据实时计算领域往往伴随着各种复杂的业务需求，相应的Flink程序也会非常复杂，当业务需求复杂、任务逻辑量庞大时，如何进行可视化的线上任务调试便成了当务之急。

发明内容

本发明的目的在于提供一种基于Flink的可视化开发在线调试方法及装置，能够提升Flink程序开发调试的效率。

为了实现上述目的，本发明的一方面提供一种基于Flink的可视化开发在线调试方法，包括：

预设数据源文件格式和业务逻辑文件格式，其中数据源包括事件时间和事件数据；

获取数据源并按照数据源文件格式执行格式转换，将转换得到的数据源文件上传服务器保存；

基于业务逻辑文件格式构建抽象业务逻辑，同时根据抽象业务逻辑中的设定条件从服务器中过滤出有效数据源文件，执行模拟计算后输出模拟结果文件或错误反馈日志；

根据模拟结果文件或错误反馈日志，在线调试抽象业务逻辑或修改对应的错误代码。

优选地，获取数据源并按照数据源文件格式执行格式转换，将转换得到的数据源文件上传服务器保存的方法包括：

获取多份数据源，分别将每份数据源中的事件时间和事件数据按照数据源文件格式组合转换，对应得到多份数据源文件；

校验数据源文件，定位出错误格式的数据源文件提示修改；

将校验通过的数据源文件打包上传至服务器保存。

优选地，基于业务逻辑文件格式构建抽象业务逻辑，同时根据抽象业务逻辑中的设定条件从服务器中过滤出有效数据源文件，执行模拟计算后输出模拟结果文件或错误反馈日志的方法包括：

配置统一的调试环境，从服务器中获取所需的全部数据源文件；

基于业务逻辑文件格式可视化选择或编辑抽象业务逻辑，生成抽象业务逻辑文件，所述抽象业务逻辑文件中设有多个计算条件或业务条件；

根据所述计算条件或业务条件从所需的全部数据源文件中过滤出有效数据源文件，并以事件时间执行模拟计算生成调试结果，所述调试结果在调试失败时则输出错误反馈日志，所述调试结果在调试成功时则输出模拟结果文件。

优选地，根据模拟结果文件或错误反馈日志，在线调试抽象业务逻辑或修改对应的错误代码的方法包括：

当模拟计算后输出模拟结果文件时，可参考模拟结果文件反向调整抽象业务逻辑文件中设置的计算条件或业务条件；

当模拟计算后输出错误反馈日志时，可根据错误反馈日志在线修改抽象业务逻辑文件中的错误代码。