[发明专利]文本导出方法、系统、计算机设备与计算机可读存储介质

说明书

本发明公开了一种文本导出方法，应用于PDI平台的文本导出插件中，所述文本导出插件包括导出设置组件、数据处理组件、底层基础功能组件、用户界面组件以及元数据组件，所述方法包括：获取所述导出设置组件中的文本导出任务；接收用户通过所述用户界面组件设置的所述文本导出任务的任务设置信息；通过所述底层基础功能组件启动所述文本导出任务；基于所述文本导出任务，从所述元数据组件中获取所述文本导出任务对应的目标原始数据集；基于所述任务设置信息，通过所述数据处理组件对所述目标原始数据集进行转换，得到导出文本数据集，并输出所述导出文本数据集。本发明还公开了一种文本导出系统。本发明的有益效果在于：提高了文本转化的转化效率。

技术领域

本发明实施例涉及数据处理领域，尤其涉及一种文本方法、系统、计算机设备与计算机可读存储介质。

背景技术

ETL是EXTRACT(抽取)、TRANSFORM(转换)、LOAD(加载)的简称，目标是实现数据从多个异构数据源加载到目标数据库或其他地址，是数据仓库建设和维护中的一个重要的步骤。PDI(Pentaho Data Integration，又称Kettle)一款ETL工具，开源且免费，基于纯Java开发，在国内的电信、电力、银行、保险、证券等领域有比较广泛的应用。

ETL过程有一个常见的操作，是将数据导出为文本，传输到远程服务器上，然后再加载到目标数据库或大数据平台上。但是，在使用PDI进行文本导出操作时，无法区分空字符串和NULL值。NULL值在数据库领域是一个非常特殊的值，表示遗漏的未知数据，NULL值的处理方式与其他值不同。它既不大于任何一个数据，也不小于任何一个数据，也无法与0比较，它们是不等价的，参与任何逻辑运算的值都为NULL，如果一些应当为NULL的值被替换为其他值，可能会改变计算结果，出现计算问题，降低文本转换效率。

发明内容

有鉴于此，本发明实施例的目的是提供一种文本导出方法、系统、计算机设备与计算机可读存储介质，提高了文本转化的转化效率。

为实现上述目的，本发明实施例提供了一种文本导出方法，应用于PDI平台的文本导出插件中，所述文本导出插件包括导出设置组件、数据处理组件、底层基础功能组件、用户界面组件以及元数据组件，所述方法包括：

获取所述导出设置组件中的文本导出任务；

接收用户通过所述用户界面组件设置的所述文本导出任务的任务设置信息；

通过所述底层基础功能组件启动所述文本导出任务；

基于所述文本导出任务，从所述元数据组件中获取所述文本导出任务对应的目标原始数据集；

基于所述任务设置信息，通过所述数据处理组件对所述目标原始数据集进行转换，得到导出文本数据集，并输出所述导出文本数据集。

进一步地，所述任务设置信息包括预设值的替换信息。

进一步地，所述基于所述任务设置信息，通过所述数据处理组件对所述目标原始数据集进行转换，得到导出文本数据集，并输出所述导出文本数据集，包括：

通过所述数据处理组件判断所述文本导出设置信息中是否存在预设值的替换信息；

若存在，则基于所述文本导出设置信息转换所述原始数据集以及基于所述替换信息转换所述原始数据集中的预设值；

若不存在，则获取所述预设值的预设替换规则，基于所述文本导出设置信息转换所述原始数据集以及基于所述预设替换规则转换所述原始数据集中的预设值。

进一步地，所述基于所述文本导出任务，从所述元数据组件中获取所述文本导出任务对应的目标原始数据集之前，包括：

抓取多个原始数据；

将所述多个原始数据根据数据类型进行分类，得到多个原始数据集，并将所述原始数据集存储至数据库中。