[发明专利]数据采集的方法、装置、存储介质及终端

说明书

技术领域

本发明属于通信技术领域，尤其涉及一种数据采集的方法、装置、存储介质及终端。

背景技术

现有的数据采集方式，主要采用后台工具，比如PLSQL对数据进行采集，是一种过程化语言，没有可视化的操作界面，需要熟悉技术的IT人员进入后台数据库中操作。采集过程需要预先查询并确认所需采集的数据，然后由IT人员手动完成下载，操作专业性强，不方便。其他非IT人员无法自行进行数据采集，也不能自主设计数据展示页面，数据采集效率低，对数据库的操作风险高，且仅仅支持Oracle数据库采集。由于现有的数据采集方式需要预先确认所需采集的数据，无法实现定时采集。

发明内容

本发明实施例提供了一种数据采集的方法、装置、存储介质及终端，以解决现有技术在进行数据采集时采集效率低、操作风险高、无法定时采集的问题。

本发明实施例提供了一种数据采集的方法，所述方法包括：

加载数据源管理界面，基于所述数据源管理界面配置数据源，所述数据源类型包括Oracle数据库或Hive数据库；

加载报表模板管理界面，基于所述报表模板管理界面设置报表模板的数据源，构建SQL模型，并根据所述SQL模型生成对应的报表模板；

在进行数据采集时，读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。

进一步地，所述方法还包括：

将所采集到的数据载入到指定文档中，将所述指定文档转换为压缩文件，并保存至文件服务器中；

获取所述压缩文件在文件服务器中的统一资源定位符。

进一步地，在构建SQL模型，并根据所述SQL模型生成对应的报表模板之后，所述方法还包括：

设置所述报表模板的定时采集时间；

按照预设时间间隔检测当前系统时间是否满足所述定时采集时间；

若当前系统时间满足所述定时采集时间，则读取所述SQL模型中的SQL语句；

按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。

进一步地，所述基于所述数据源管理界面配置数据源，所述数据源类型包括Oracle数据库或Hive数据库包括：

在所述数据源管理界面上，根据接收到的操作指令配置数据源的基础信息，设置数据源的扩展属性；

其中，所述基础信息包括数据源类型、数据源平台名称、数据源所属URL、数据源生效状态，所述数据源类型包括Oracle数据库或者Hive数据库。

进一步地，所述构建SQL模型，并根据所述SQL模型生成对应的报表模板包括：

通过所述报表模板管理界面获取输入的SQL模型的标签信息、类型信息；

通过所述报表模板管理界面获取输入的至少一个SQL语句；

保存所述标签信息、类型信息以及SQL语句，生成SQL模型并进入可视控件编辑窗口；

根据所述SQL模型在所述可视控件编辑窗口中添加报表元素，其中一个SQL语句对应一个报表元素；

根据所选择的编辑控件对所述报表元素进行修改；

保存修改后的所述报表元素，生成报表模板。

进一步地，所述在进行数据采集时，读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据包括：

当接收到数据采集指令时，获取报表模板的名称信息；

根据所述名称信息获取所述报表模板已配置的SQL模型，读取所述SQL模型中的SQL语句，输出所述SQL语句的选择界面；

根据所选取的SQL语句从所设置的数据源中采集数据。

本发明实施例还提供了一种数据采集的装置，所述装置包括：

数据源配置模块，用于加载数据源管理界面，基于所述数据源管理界面配置数据源，所述数据源类型包括Oracle数据库或Hive数据库；

报表模板配置模块，用于加载报表模板管理界面，基于所述报表模板管理界面设置报表模板的数据源，构建SQL模型，并根据所述SQL模型生成对应的报表模板；

数据采集模块，用于在进行数据采集时，读取所述SQL模型中的SQL语句，按照所述SQL语句从所设置的数据源中采集数据，并通过所述报表模板展示所采集到的数据。

进一步地，所述装置还包括：

数据保存模块，用于将所采集到的数据载入到指定文档中，将所述指定文档转换为压缩文件，并保存至文件服务器中；