[发明专利]数据到数据库上的用户定义加载

说明书

背景技术

数据普遍被从多种不同类型的源加载到数据库上。各种类型的源的示例包括本地储存位置、文件传送协议（FTP）站点和Hadoop?（例如，被存储在Hadoop?文件系统内，Hadoop?文件系统也被称作HDFS）。另外，被加载到数据库上的数据通常包括各种类型的格式。各种格式的示例包括Javascript对象标记法（JSON）文件、可扩展标记语言（XML）文件、定制二进制格式、tarball和7-Zip文件。

附图说明

本公开的特征是作为示例而图示的且不被限制在下面的图中，在下面的图中，相似的附图标记指示相似的元素，在下面的图中：

图1示出了根据本公开的示例的网络环境的框图；

图2图示了根据本公开的示例的数据库机器的框图；

图3和4分别描绘了根据本公开的示例的用于管理数据从源到数据库的加载的方法的流程图；以及

图5图示了根据本公开的示例的可被采用以执行图1和2中描绘的数据库机器的各种功能的计算设备的示意表示。

具体实施方式

出于简明和说明性目的，通过主要参考本公开的示例来描述本公开。在下面的描述中，阐述了许多具体细节，以提供对本公开的透彻理解。然而，将显而易见的是，可以在不限制于这些具体细节的情况下实施本公开。在其他实例中，未详细描述一些方法和结构，以免不必要地使本公开模糊。在本公开中，术语“包括”意味着包括但不限于此，术语“包括……的”意味着其包括……但不限于此的。术语“基于”意味着至少部分地基于。另外，术语“一”和“一个”意图表示特定元素中的至少一个。

如贯穿本公开使用的那样，术语“数据”一般意图涵盖电子数据，诸如电子邮件（电邮）、文字处理文档、电子表格文档、网页、计算机辅助绘图文档、电子文件文件夹、数据库记录、日志、销售信息、患者信息等。

本文公开了一种用于管理数据从源到数据库上的加载的方法。本文还公开了一种用于实现该方法的设备以及一种在其上存储实现该方法的机器可读指令的非瞬变计算机可读介质。如本文所讨论，用于管理数据从源到数据库上的加载的方法包括：提供用户通过其定义与所述数据到所述数据库上的加载相关的逻辑的接口，其中，用户定义逻辑涉及所述源的用户定义位置标识和从所述源对数据的检索、要在所述数据上应用的用户定义过滤器、以及要在所述数据上执行以将所述数据转换成针对所述数据库的适当格式的解析操作。所述方法还包括：接收所述用户定义逻辑；以及实现所述用户定义逻辑以将所述数据加载到所述数据库上。

根据示例，所述用户定义逻辑还涉及定义要在从所述源检索所述数据之前满足的条件的用户定义策略。在该示例中，所述用户定义逻辑可以被注册至数据库元数据，使得所述数据的加载可以被推迟到查询时间，所述查询时间也被称作“后期绑定”。在一点上，后期绑定使得能够联合使用用户定义数据源，例如，直接在HDFS中存储的数据上运行SQL查询的能力。另外，用户可以定义用于在所述数据到所述数据库上的立即加载与后期绑定之间动态转移的用户定义策略。作为示例，用户可以定义用于在经由后期绑定在预定时间段中访问数据集多于预定次数的情况下自动将最后加载的内容保持在所述数据库中多达一周的用户定义策略。作为另一示例，用户可以定义用于在数据集极少被使用（例如，在预定时间段内被使用少于预定次数）的情况下将数据集从所述数据库移动到另一储存器（诸如HDFS）以及经由后期绑定从所述另一储存器访问数据的用户定义策略。

在一点上，数据的后期绑定实际上可能需要或可能不需要坚持到盘（persist to disk），这是由于数据仅用于查询的持续时间。取而代之，随着数据正在被本文公开的用户定义加载命令所提取，数据加载操作可以被直接流送到查询处理管线。

要加载到数据库上的数据通常具有多种不同类型的格式和大小中的一种。由此，典型地，任何单片段软件充分支持可对任何数目的用户有实际价值的每个可能数据格式和编码是不实际的。在一点上，本文公开的方法使用户能够定义定制逻辑或功能（诸如编程、代码等），以管理数据到数据库上的加载以及在某些实例中管理已经被加载到数据库上的数据。由此，用户可以实现本文公开的方法以将数据加载到数据库上，而不论数据的格式和大小以及要从其加载数据的源的格式如何。特别地，例如，本文公开的方法使作为使用定制库编码的数据中的至少一个的数据、具有定制格式的数据、经由定制源可用的数据等能够被以相对简单的方式加载到数据库上。