[发明专利]一种时间密集大数据量的B/S分区间分页查询方法

说明书

技术领域

本发明属于计算机数据分析领域，具体涉及一种时间密集大数据量的B/S分区间分页查询方法。

背景技术

很多领域如金融、电信及大型系统自动化测试等的业务数据都存储于数据库中，随着企业信息化的发展，这些数据具有如下特点：

数据量大：数据条目通常可达到百万甚至千万级，占用存储空间达到TB级别；

数据的时间相关性：在数据库中，业务数据以时间为主键；在逻辑上，数据具有时间相关性，即对数据进行查询分析时以时间为检索条件，强调一段时间内每个时间点上的数据情况；

数据的时间密度大：相邻的两条数据之间的时间间隔很小，通常在1s钟以内。

对已存储的数据进行分析时必然要涉及到大量数据的查询显示，数据的分页查询是不可避免会遇到的问题。目前数据查询大多基于B/S（Browser/Server，浏览器端与服务器端）结构，B/S结构是指服务器端由web服务器发放，客户端由浏览器接收的架构，常用的分页策略有三类：

第一类是一次将所有的查询结果全部返回到客户端，翻页时在客户端控制需要显示的条数。这类方法只查询一次数据库，对于结果集很小的情况比较适用，当结果集很大时对网络带宽要求极高，因为一次查询要将所有结果返回到浏览器端，可能会需要几分钟才能返回结果甚至超时，结果集大时，这类方法对客户端内存的消耗也是不可接受的；

第二类是将查询结果全部缓存在服务器端，只需进行一次查询，就可以将所有的检索结果都保存下来，翻页时只需从缓存在服务器端的结果集中取出相应的条数。这类方法的优点是查询数据库次数少，但是结果集很大或并发情况下，缓存结果将不断膨胀，对服务器端的存储空间占用很大，可能导致存储空间不够导致服务器宕机；

第三类是每次只返回当前页面需要显示的条数，翻页时再次发送查询条件重新进行检索。这类方法可使用三种分页模型：第一种是上下页分页模型，就是页面上只提供“上一页”、“下一页”两个翻页功能，用户只能逐一翻页，这种分页模型的缺陷是对于用户而言跳页很不方便；第二种是应用最广泛的窗口型分页模型，其基本模式就是根据当前页码把附近的几页都作为链接放在页面上，这种方式在获取一页数据的时候通常需要先获取所有符合条件的数据，然后再取出相应页的数据从数据库返回，对大数据量时时间开销较大；第三种是随意型分页模型，一般是提供一个文本框让用户输入页码，然后直接跳转到该页，这种方式对用户而言是最为灵活的，但这种模型单独使用的实际意义并不是很大，一般是在前两种分页模型中加入任意页跳转功能。

由于数据的时间密度大，以1s一条为例，一天的数据量有24*60*60=86400条，而很多查询分析需查询多天的数据以分析其变化趋势，以10天为例，查询结果将达到864000条，假设一条数据占用1k的存储空间，一次查询需占用864M的存储空间。因此第一类和第二类方法都存在了很大的问题，一方面一次检索1万级甚至百万级数据需要的查询时间过长，这样的响应速度是不可接受的，另一方面，每个用户多次查询时，第一类方法对客户端内存的消耗程度是不可接受的，第二类方法对服务器端存储空间提出了很大的挑战，需要大量的存储空间。第三类方法在每次翻页时都需发送查询条件重新进行查询，由于数据的时间相关性，查询时希望的显示顺序为按时间顺序递增或递减，而从数据库中SELECT出来的顺序依赖于DBMS（数据库管理系统）对数据的物理存储，与数据插入顺序无关，且数据插入顺序也不完全与时间顺序一致，因此SELECT无法保证结果集按照时间排序，唯一的方式是使用显示的排序如Order By子句，这类方法必须先检索出所有符合条件的记录并将其排序，当结果集数据很大时，排序的时间将无法忍受。

发明内容

本发明要解决的问题是：针对存储于数据库中的海量时间序列数据，查询结果中，每个时间点对应一条结果数据，对于指定的较长的时间区间需查询多个数据库表，传统的基于B/S架构的查询方法无法在合理的响应时间内返回查询结果。本发明提出了一种时间密集大数据量的B/S分区间分页查询方法。

一种时间密集大数据量的B/S分区间分页查询方法，由用户通过浏览器端输入初始查询条件，在请求某一页或某一区间时，服务器端根据以下步骤获取请求结果数据：