[发明专利]一种对海量URL进行存储和查询方法

摘要

本发明公开了一种对海量URL进行存储和查询的方法，首先利用数据表存储URL的MD5值和特征字符串，其中特征字符串是先将URL原始字符串开头到“//WWW.”部分去除，再将剩余字符串按照“/”分割为多个字符串，取前N个分割后字符串的第一个和最后一个字符顺序拼接组成(N为8～12的整数)；分别对数据表中的特征字符串和MD5值建立树形索引。精确查询时，计算待查询URL的MD5值，查询数据表中的MD5字段即可；后模糊匹配查询时，根据待查询URL的特征字符串，先查询对数据表中的特征字符串字段，取特征字符串相符的URL值，再将待查询URL与这些URL值进行实际匹配查询。

主权项

一种对海量URL进行存储和查询的方法，首先将海量URL信息存入下述信息表中： URL  MD5  Keywords  Col1  Col2...存储步骤如下：1)对于URL的原始字符串，当“//”之后的字符串是“WWW.”时将开头到“//WWW.”部分的字符串去除，当“//”之后的字符串不是“WWW.”时则将开头到“//”部分的字符串去除，得到的URL剩余字符串存入信息表的URL字段中；2)计算URL原始字符串的MD5值，存入信息表的MD5字段中；3)按照“/”将URL剩余字符串分割为多个字符串，然后取第N个“/”之前的所有分割后字符串，将这些分割后字符串的第一个字符和最后一个字符顺序拼接组成一个特征字符串，存入信息表的keywords字段中，其中N为8～12的整数；4)其他和该URL关联的信息存入相同行的对应字段中；URL数据信息存入信息表后，分别对keywords字段和MD5字段建立树形索引；选择下述方法之一进行URL查询：A)精确查询，先如下处理待查询的URL原始字符串：当“//”之后的字符串是“WWW.”时将开头到“//WWW.”部分的字符串去除，当“//”之后的字符串不是“WWW.”时则将开头到“//”部分的字符串去除，得到URL剩余字符串；然后计算URL原始字符串的MD5值，查询数据表中的MD5字段，取MD5值相符的URL值；B)后模糊匹配查询，先如下处理待查询的URL原始字符串：当“//”之后的字符串是“WWW.”时将开头到“//WWW.”部分的字符串去除，当“//”之后的字符串不是“WWW.”时则将开头到“//”部分的字符串去除，得到URL剩余字符串；然后按照“/”将URL剩余字符串分割为多个字符串，取第N个“/”之前的所有分割后字符串，将这些分割后字符串的第一个字符和最后一个字符顺序拼接组成特征字符串，先对数据表中的keywords字段进行查询，取keywords相符的URL值，再将待查询的URL与该URL值进行实际匹配查询。