[发明专利]一种大数据量分类检索网页的响应方法

说明书

技术领域

本发明通常涉及万维网(在下文简称为“WEB”)，具体涉及大数据量分类检索网页的响应，即显示大数量分类检索网页的结果。

背景技术

在互联网快速发展的今天，人们越来越多的利用互联网来处理日常的事务，社会生活各个方面的数据信息越来越多的要依靠互联网来进行发布和传递。因此，对WEB应用提出了更高的要求。

在这些WEB应用中，大都需要对系统中的数据进行分类检索。而这些WEB应用数据量大，并发用户数大，但需要能较快的将分类检索结果返回给用户，带来较好的用户体验。

对于这些大数据量的WEB应用进行分类检索，如果采用简单的数据库查询的方法来实现，因为其数据量较大，查询时间会随着系统数据量的增大而增长，从而占用数据库连接的时间也较长。因此，如果在一定的时间内，并发用户数较大的情况下，就会使得数据库连接被占满，使越来越多用户的查询无法立即得到数据库连接，而处于等待的状态。这样，大大增加了数据库负载，使得系统的响应速度越来越慢，甚至会出现无法响应的情况，将远远无法满足用户需求。

因此，我们可以应用缓存技术来提高网页响应速度，解决上述问题。但现有技术存在以下问题：

1、一般只适用于对静态页面的缓存，对于分类检索页面这种动态页面就很难进行缓存了。

2、基于服务器端的动态页面输出缓存，没有利用分类检索的特点，未对数据也进行缓存。

3、基于服务器端的动态页面输出缓存，采用轮询的方式，将所有可能的输出页面缓存，大量占用了系统的处理时间和存储空间。

4、基于服务器端的动态页面输出缓存，页面缓存的形式采用HTML，缓存了冗余的页面展示格式等信息，增加了不必要的缓存空间。

发明内容

本发明要解决的技术问题是针对一些WEB应用数据量较大，用户并发较多的情况，提出一种提高大数据量分类检索网页响应速度的实现方法，能够有效提高大数据量分类检索的网页响应速度，减轻数据库的负载。

本发明一种大数据量分类检索网页的响应方法，包括以下步骤：

A、当系统启动时，将需要供用户分类检索的数据从数据库中查询出来，并缓存于内存中；

B、当用户请求某种检索条件的网页时，首先在页面缓存中查找是否存在有效的页面缓存；如果存在，则将页面缓存直接作为结果返回；如果不存在，则根据检索条件，在内存数据缓存中查找出所需结果，生成相应的页面，将其缓存为页面缓存后作为结果返回；

C、对内存中的数据刷新，同时在内存数据刷新后，作废之前缓存的页面缓存。

在上述方案中，还包括根据分类检索的类型，对内存中缓存的数据建立索引。

建立分类索引的方法可以是：

a、循环遍历加载于内存中的缓存数据记录，读取某一记录N；得到某一分类X对应字段的值，即分类X的分类值keyX_N；

b、从该分类X的索引表indexTableX中找到该分类值keyX_N的索引列表indexListX_N；

c、在该索引列表indexListX_N中插入该记录的编号N，即为该记录N建立了分类X的索引。

在生成内存数据缓存和建立索引时，将内存数据缓存和索引锁住，只允许一个线程执行加载内存数据缓存和建立索引的操作，不允许其它线程同时读写缓存。

本发明中的页面缓存可以采用xml的形式。

在本发明中，页面缓存于内存或磁盘中。

在生成页面缓存时将页面缓存记录锁住，只允许一个线程生成某一检索条件的页面缓存，不允许其它线程读写该检索条件的页面缓存。

在本发明中，无论页面缓存于内存或磁盘中，在内存中建立一张哈希(Hash)表，以存储某个检索条件的页面缓存是否存在以及其内容；Hash表中的健值保存了各种检索条件，Hash表中的值保存了对应检索条件的页面缓存是否已生成或其内容。

本发明中的内存数据的刷新方式为实时刷新或定时刷新。

本发明将需要检索的数据，在内存中缓存起来，数据的检索不再是在数据库中查询，而是在内存中进行检索。大大减轻了数据库的负载，也加快了数据查询的速度，提高了系统的性能。将各种已查询过的分类检索条件的查询结果缓存起来，不用每次检索时都需要对内存数据进行查询，而是直接返回缓存起来的查询结果，从而提高页面响应速度。

附图说明

图1是响应分类检索网页流程图；

图2是内存数据缓存结构示意图；

图3是分类的索引表结构示意图；

图4是分类索引建立流程图；