[发明专利]数据存储与查询方法及设备

说明书

本申请的目的是提供一种数据存储与查询方法及设备，通过建立所述表格中列的索引，便于后续可以通过查询索引，快速获得查询结果。另外，通过扫描所述表格中的数据，获取所述列中数据的统计信息，便于后续查询时利用列中数据的统计信息，进行代价估算，得到尽量成代价最小、性能最优的数据查询方式，提高查询效率。

技术领域

本申请涉及计算机领域，尤其涉及一种数据存储与查询方法及设备。

背景技术

伴随着社会和经济的不断发展，科技也在迅猛进步。近几年来，移动互联网技术、物联网技术更是如日中天，给人们的生活带来了极大的便利，同时也催生了大数据时代的来临。如今，从学术界到工业界、从组织机构到个人都无时无刻不在产生着蕴含巨大价值的数据。这些数据能够给企业和商业带来巨大经济效益，而且利用得当也能够为人类健康、社会发展等造福良多。然而，这些宝贵的数据不仅存在着数据缺失、数据错乱、格式不一、来源多样等问题，其数据量更是让人惊讶。

IBM的研究称，整个人类文明所获得的全部数据中，有90％的数据是过去两年内产生的。未来数据量的增长速度将会更快更迅猛。面对如此庞大的数据量，传统的计算机数据分析技术已经越来越吃力，难以满足人们对于海量数据分析的性能需求。如何能够从这些数据中更加快速、便捷的查询、筛选出有价值的信息，成为了一个亟待解决的重要问题。

在应对海量数据分析的难题时，往往把数据转化为结构化表示，也即将数据转换为行、列构成的表格形式。其中，每行代表一条记录，每条记录由若干列构成，每列是一个具体的字段，表征着该记录的一部分信息。

当前用来进行结构化数据查询的方法主要分为两种，一种是基于磁盘扫描的数据查询方法，另一种是基于部分索引的数据查询方法。

其中，基于磁盘扫描的数据查询方法，主要由如下两个步骤完成。

步骤一：数据存储。将数据转换为行、列表示，并且一行一行的连续存储到磁盘上。

步骤二：数据分析。将磁盘上存储好的数据，依次读取出来，并且按照输入的筛选条件进行过滤，将满足筛选条件的数据输出并且忽略不满足条件的数据。

基于部分索引的数据查询方法相对复杂，一般包含以下步骤。

步骤一：数据存储。将数据转化为行、列表示，并且一行一行的连续存储到磁盘上。

步骤二：在指定列上建立索引。从输入中获取到指定的列，并且在该列上构建部分索引。

步骤三：简单查询优化。将从输入中获取到的查询条件根据步骤二构建好的索引进行优化，转化为等价的、耗时更短的查询条件。

步骤四：数据查询。根据步骤三优化后的查询条件进行数据过滤，保留满足条件的数据并且忽略不满足条件的数据。

以上简要阐述了两种用于结构化数据的查询方法：基于磁盘扫描的数据查询方法和基于部分索引的数据查询方法。

其中基于磁盘扫描的数据查询方法，每次进行数据查询分析都需要将所有数据从磁盘中读取一遍，查询速度很慢，效率十分低下。当数据量大到一定量级后，该方法所花费的时间可能极其巨大，很难满足当下人们对于数据分析系统的性能需求；另外，为了查询出少量符合条件的数据而读取整个磁盘上的所有数据，也是对资源的极大浪费。