[发明专利]一种信息处理方法及装置

说明书

本发明公开了一种信息处理方法及装置，所述方法包括：获取列式数据库中存储的列文件中数据；获取分区算法集合，所述分区算法集合包括两种及两种以上的分区算法；将所述列文件中数据作为所述分区算法结合中各种分区算法的输入，通过所述分区算法输出分区后的文件；利用分区后的文件计算所述分区算法集合中每一种分区算法的分区效率；将列式数据库的标识信息、所采用的分区算法及其对应的分区效率对应地存储起来。

技术领域

本发明涉及电子技术，尤其涉及一种信息处理方法及装置。

背景技术

在多数查询的总体时间中，磁盘数据的扫描占据了至少50％以上的时间，因此，为了优化数据查询和扫描速度，在磁盘数据库(包括关系数据库管理系统(RelationalDatabase Management System，RDBMS)和非关系型的数据库(NoSQL))中对数据表进行分区是一种常见方法，目的是减少处理查询时扫描的数据规模。通过分区技术可以将数据表分开保存到不同的实体(逻辑实体或者物理服务器)中，通过在处理查询时仅扫描相关的分区来减少查询时间。目前有多种已有的分区的技术，按照类型可以分为范围分区、列表分区和哈希分区，其中：

范围分区(Range)：按照选定列的数值范围分区，如大于20000的数据保存在分区1中，小等于20000的数据保存到分区2中。其中这个选定的列也被称为分区键(PartitionKey，PK)，下同。

列表分区(List)：按照分区键的离散取值来确定分区，如“中国”、“日本”、“韩国”均可以放置到“东亚”这个分区中。

哈希分区(Hash)：哈希分区根据一个hash函数确定到底应该将数据保存到哪个分区中。一个哈希函数是事先确定的计算函数，可以将输入的数据，按照实现确定的规则放置到适当的分区中，一个简单的哈希函数是取余数。

列式数据库如SybaseIQ、Vertica、InfoBright等在存储方式方面将数据按照列存储为一个实体(如文件)，然后按照范围来分区存储。这种方式减少了数据扫描时处理的数据量，但是当需要扫描很多列时，会遇到性能下降的情况，主要是因为将列连接成行以及扫描文件数量较多造成的。NoSQL数据库也采用了相似的分区技术，如HBase采用了动态范围分区技术，而Cassandra采用了哈希分区技术。在此类系统中，为了减少数据扫描的数量，还将相关列当做列族(Column Family)存储，以便进一步减少数据扫描数量。

在日志详单、网管(NMS)信令监测、商务智能(BI)等大数据应用中，针对不同系统产生的数据如何进行数据分区存在问题：如何选择合理的分区方法？面对庞大的数据，如何分区才能使查询效率最高，分区算法1会比分区算法2效率高多少？分区算法会导致多少磁盘空间的浪费？这些都是目前面临的重要且难以解决的问题。分区方法如何最优化查询？选定算法后，算法因子如何设置才是最优的。

发明内容

有鉴于此，本发明实施例为解决现有技术中存在的至少一个问题而提供一种信息处理方法及装置，能够提高查询效率。

本发明实施例的技术方案是这样实现的：

第一方面，本发明实施例提供一种信息处理方法，所述方法包括：

获取列式数据库中存储的列文件中数据；

获取分区算法集合，所述分区算法集合包括两种及两种以上的分区算法；

将所述列文件中数据作为所述分区算法结合中各种分区算法的输入，通过所述分区算法输出分区后的文件；

利用分区后的文件计算所述分区算法集合中每一种分区算法的分区效率；

将列式数据库的标识信息、所采用的分区算法及其对应的分区效率对应地存储起来。