[发明专利]一种分布式的大数据分类检索网页的响应方法

说明书

技术领域

本发明属于Web访问技术领域，具体涉及一种分布式的大数据分类检索网页的响应方法。

背景技术

随着云技术和互联网络的蓬勃发展，人们越来越愿意使用网络来处理日常事务，社会生活各方面的数据信息越来越集中，同时，数据量也大量增长，因此许多系统和平台都将面临海量数据。这对Web应用提出了更高的要求。在Web应用中，大都需要把大量数据进行分布式存储，从而提高数据的检索速度，快速地响应用户的需求，给用户带来更好的体验。

然而，对于这些大数据如果只是简单的分布式处理，由于分布的服务器众多数据的分散也将导致检索准确率下降，从而降低了响应速度，这将给用户带来非常不好的体验。如果大量用户同时在线检索数据，会给服务器带来更大的压力。因此，在分布式技术的基础上，将数据进行分类缓存，快速检索，从而达到快速响应。

现有技术存在问题归纳如下：

第一，基于服务器端的动态页面缓存，并没有利用分布式分类检索的特点，读数据进行分布式缓存。

第二，一般只能对静态页面进行部分缓存，不能处理分布式的数据存储动态页面检索。

第三，基于一台服务器，将页面缓存在服务器端，将所有可能访问的页面进行缓存，大量的占用了服务器的处理时间和存储空间。

发明内容

本发明针对现有技术的不足，提供了一种分布式的大数据分类检索网页的响应方法，能够有效的提高大数据的分类检索页面响应速度，减轻数据库压力，减少服务器负担。

为解决以上问题，本发明采用的技术方案如下：一种分布式的大数据分类检索网页的响应方法，包括以下步骤：S1：启动分布式服务器，根据Hash Code(JAVA中的编码方式)将页面按关键字分类，将从数据库中检索出的数据缓存在各服务器中；

S2：当用户请求到达时，先检查其检索条件，将用户请求的关键字根据HashCode来选择匹配的服务器，然后在该服务器的缓存中查找是否存在有效的页面缓存，如果存在，则直接将有效的页面作为结果返回；如果不存在，则查找有效的页面缓存，将查找到的页面作为结果返回，并缓存查找到的页面。

S3：刷新内存中的数据，并作废之前缓存的页面。

作为优选：分类检索时，对S2所述的缓存数据建立索引。

作为优选：S2所述的建立索引的步骤如下：

S21.循环遍历内存中的所有缓存数据，读取某一数据记录为N，获得其分类字段对应的值，记录为key；

S22.从分类索引表indexTable中，找到分类值为对应key的索引列表indexList。

S23.在该索引列表indexList中插入记录，并编号为N。

作为优选：生成数据缓存和为数据建立索引的时候，需要将缓存数据和索引数据上锁，一台服务器中只允许一个线程读写内存中的缓存和为数据建立索引。

作为优选：所述的页面缓存是采用xml的记录形式。

作为优选：在内存中建立一张Hash表，Hash表用来记录数据是否存在缓存中并指出其缓存内容所存在的位置。

作为优选：S3所述的内存数据的刷新方式为实时刷新或定时刷新。

本发明的有益效果如下：将需要检索的数据以xml的形式缓存在内存中，这样数据的检索就不用在数据库里查询，而是在内存中的xml文件中查询。这么做不仅大大减轻了数据库的负担，同时也加快了数据查询的速度，挺高了系统性能。在服务器上将各种查询过的分类检索的结果缓存起来，不用每次检索时都对内存数据进行一次查询，而是直接将返回的结果缓存起来，从而提高了响应速度。

附图说明

图1是分布式分类检索快速响应的流程图；

图2是数据在内存中缓存的示意图；

图3是分类索引表的结构；

图4是缓存的分类数据建立索引的流程图；

图5是两种分类组合检索的流程图；

图6是获得和生产缓存的流程图；

图7是整个系统的架构图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明做进一步详细说明。

一种分布式的大数据分类检索网页的响应方法，其特征在于，包括以下步骤：S1：启动分布式服务器，根据Hash Code将页面按关键字分类，将从数据库中检索出的数据缓存在各服务器中；