[发明专利]一种基于Web架构下海量数据查询和二次处理的方法

说明书

技术领域

本发明涉及数据库数据查询检索领域，尤其涉及一种基于Web架构下海量数据查询和二次处理的方法。

背景技术

随着信息时代的不断发展，需要在基于WEB端浏览器上呈现的数据量出现越来越大的趋势，从几年前的10条100条到现在的1000 条，甚至上万条记录需要给用户进行统一展示。同时由于客户使用体验要求的提高，越来越多的使用体验要求使用者能够在浏览器端能够对数据进行2次加工，以展示自己希望看到的数据，如：过滤特定数据 、选择特定数据、按照一个或多个字段，对数据进行排序、按照选择的字段，对某些数据属性的字段进行求和、求平均、最大最小值等操作。目前典型的业务使用场景，如：查询用户的短信清单，月数据量可能达到每人上千条，数据库中的清单数据达到100亿条，并且用户可能需要按照对方号码进行筛选；查询用户的上网信令清单，月数据量可能达到每人上万条，数据库中的清单记录数达到1000亿以上，并且需要按照数据流量进行排序和汇总。

现有的数据查询和处理技术主要通过JSP、JS的方法实现海量数据的展示，在前台进行数据分页展示，如果前台有数据处理的要求，如排序、筛选等，则通过Web服务器再次到数据库中进行查询后再处理，然后再展示处理结果的方式，如图1所示。这种查询和处理的方法存在以下缺点：

1、页面需要等待后台查询完成，经常会因为查询性能慢而引起黑屏等问题，引起客户操作体验差；

2、所有的基于浏览器的后续的业务操作，均需要到原始数据源如数据库或文件中进行再次查询，如果源数据库非常大，则对源数据库的压力将随着前台动作的增加持续增大，对业务成本和用户体验提出严重挑战。

发明内容

针对上述缺点，本发明提供一种基于Web架构下海量数据查询和二次处理的方法。该技术实现方案解决：

1、在海量数据的查询场景下，切实减少对数据库的多次同条件查询的压力，通过一次查询解决基于同份结果数据集内进行的翻页、最前、最后数据的展示问题；

2、对基于海量数据的查询结果的二次处理，如支持多字段多方向排序，多字段联合条件过滤，多指标字段的数据聚合计算、求和、求记录平均、求最大、最小等操作。

为达到上述目的，本发明采用如下技术方案：

一种基于Web架构下海量数据查询和二次处理的方法，在其整个业务处理流程中引入数据缓存中间服务器，缓存从数据库中查询到前台展示的数据，同时提供了对查询数据进行二次处理的业务逻辑处理平台和一套完整的数据缓存机制。

本发明的一种基于Web架构下海量数据查询和二次处理的方法，其查询流程包括以下步骤：

（1）、浏览器收到业务查询条件，向Web服务器提交查询请求；

（2）、Web服务器检测是否已经存在相同的业务逻辑查询：如存在，直接向数据缓存中间服务器提交业务查询，后者返回首页记录数据经Web服务器封装送浏览器展示；如不存在，通过独立进程缓存查询服务向数据库服务器提交业务查询，并将返回的查询数据缓存至数据缓存中间服务器，后者记录当前业务逻辑查询相关的状态；

（3）、浏览器通过刷新数据缓存中间服务器已经缓存的记录条数来确认数据查询的进度，直到所有业务数据缓存到数据缓存中间服务器，整个业务逻辑查询流程结束。

本发明的一种基于Web架构下海量数据查询和二次处理的方法，其二次处理流程包括以下步骤：

（1）、浏览器收到对查询业务结果集进行二次处理的条件，如要求进行指定字段排序、某些特定过滤条件、根据某些指标进行最大最小平均等计算等，向Web服务器提交查询请求；

（2）、Web服务器直接将二次处理的业务请求发至数据缓存中间服务器进行处理；

（3）、数据缓存中间服务器将处理结果返回Web服务器，由后者封装送浏览器展示；

（4）、浏览器收到翻页查询条件，向Web服务器提交查询请求；

（5）、Web服务器直接将二次处理的业务请求发至数据缓存中间服务器进行处理；

（6）、数据缓存中间服务器将处理结果返回Web服务器，由后者封装送浏览器展示，二次处理流程结束。

本发明的一种基于Web架构下海量数据查询和二次处理的方法，其数据缓存中间服务器可以独立部署若干个，进行负载均衡，动态分配资源，也可以通过集群部署来保证可用性。

本发明的一种基于Web架构下海量数据查询和二次处理的方法，其数据缓存中间服务器可以通过开源的内存数据库，也可以通过自行开发的基于key-value的内存管理模块来实现。