[发明专利]数据回流、关系型数据库中的数据访问方法及系统

说明书

技术领域

本申请涉及数据处理技术领域，特别是涉及数据回流、关系型数据库中的数据访问方法及系统。

背景技术

互联网行业产生的数据量非常大，其运算的量一般需要在Hadoop等大型的分布式系统中才能完成，例如，相关的日志数据、浏览数据、用户数据、交易数据、商品数据等等全部会通过Hadoop完成相关计算。

Hadoop充分利用集群的威力高速运算和存储，因此，对大数据量的运算非常有优势。但是，由于Hadoop处理后的可用数据往往会分散存放在不同的服务器上，并且一般只提供命令行的方式进行读取，在用户访问和数据获取方面不是很友好。因此，一般会将Hadoop上对大数据进行处理之后的可用数据进行回流，在回流到关系型数据库之后，可以方便的做成各种程序接口(API)供调用，然后可视化的方式提供给访问者。

传统的数据回流方法中，每当在Hadoop上产生一个新的数据报表，都会在对应的关系型数据库中建立同样表结构(表字段数目及含义完全一致)的表，然后通过程序将Hadoop上的数据读出并写入关系型数据库的表中，从而达到回流的目的。

但是，在这种传统的方式中，由于每产生一张Hadoop的表，都要在关系型数据库中建立同样的表，每次都需要走数据库的建表流程，相对繁琐和冗长，并且关系型数据库中每产生一个新的表，都需要编写相应的代码以便访问表中的数据，工作量比较大。

发明内容

本申请提供了数据回流方法及系统，能够简化数据回流的流程。本申请还提供了关系型数据库中的数据访问方法及系统。

本申请提供了如下方案：

一种数据回流方法，包括：

在关系型数据库中创建第一数据表，所述第一数据表包括名称字段及数据内容字段；

确定分布式系统中需要进行数据回流的第二数据表、所述第二数据表的格式及名称；

根据所述第二数据表的格式读取出所述第二数据表中的所有原始数据，并转换为字符串，在所述字符串中，根据各个原始数据在所述第二数据表中所处的行与列的不同，利用预置的分隔符进行分隔，所述分隔符包括行分隔符及列分隔符；

将所述字符串作为一条记录的数据内容写入到所述第一数据表的数据内容字段中，并将所述第二数据表的名称作为该条记录的名称写入到所述第一数据表的名称字段中。

可选地，所述将所述字符串作为一条记录的数据内容写入到所述第一数据表的数据内容字段中包括：

将所述字符串按照指定的格式进行压缩后，作为一条记录的数据内容写入到所述第一数据表的数据内容字段中。

可选地，所述将所述字符串作为一条记录的数据内容写入到所述第一数据表的数据内容字段中包括：

按照指定的输出格式，将所述字符串作为一条记录的数据内容写入到所述第一数据表的数据内容字段中。

可选地，所述第一数据表还包括日期字段；所述方法还包括：

将所述字符串作为一条记录的数据内容写入到所述第一数据表的数据内容字段中的同时，将当前日期作为该条记录的日期写入到所述第一数据表的日期字段中。

可选地，还包括：

监控所述第一数据表中记录条数的变化；

当所述记录条数达到预置阈值时，为所述第一数据表添加索引字段，每一条索引对应所述预置阈值条数的记录。

一种关系型数据库中的数据访问方法，所述关系型数据库中保存有第一数据表，所述第一数据表包括名称字段及数据内容字段，所述第一数据表中每条记录的名称字段用于保存第二数据表的名称，数据内容字段用于保存第二数据表中的所有原始数据，所述原始数据在存入所述数据内容字段之前被转换为字符串，在所述字符串中，根据各个原始数据在所述第二数据表中所处的行与列的不同，利用预置的分隔符进行分隔，所述分隔符包括行分隔符及列分隔符；所述方法包括：

接收查询请求，根据所述查询请求与所述第一数据表的名称字段的匹配情况，确定目标记录条目；

提取所述目标记录条目的数据内容字段中的字符串，并按照所述行分隔符及列分隔符对所述字符串进行拆分，还原成与第二数据表对应的二维数组；

确定所述第二数据表中各字段的含义；

按照所述各字段的含义将所述二维数组输出为二维数据表文件并返回。

可选地，所述返回给所述访问者包括：

提供所述二维数据表文件的访问接口供调用；

或者，

将所述二维数据表文件输出到网页供查看或下载。

可选地，还包括：

确定所述第二数据表中各字段的输出格式；