[发明专利]确定网页属性的方法及装置

说明书

技术领域

本申请涉及互联网领域，尤其涉及一种确定网页属性的方法及装置。

背景技术

随着网络技术的发展，很多情况下用户需要从互联网搜集需要的信息，在这个过程中，用户需要浏览网页中的内容、甚至全文。基于这种需求，搜索引擎逐渐成为一种可供用户搜索互联网信息的重要工具。搜索引擎根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务。当接收到用户的搜索请求时，将用户所请求的信息展示给用户。

现有技术中，搜索引擎需要从互联网范围内下载有用的页面，进行处理和组织后，供用户查询。具体原理为：用户在搜索框中输入需要检索的信息（一般为关键字），搜索引擎在接收到用户输入的信息后，在索引库中进行检索，最后将检索到的结果呈现给用户。其中，索引库中的URL（Uniform Resource Locator，统一资源定位系统）及其网页会定期更新，以便让用户获得尽可能新的信息。URL也就是我们通常所说的网页地址或网址，URL需要遵守URL规范：http://www.w3.org/Protocols/rfc2616/rfc2616-sec3.html#sec3.2。

现阶段，定期更新索引库或者在URL库中挑选URL进入已抓取的网页库时，通常会使用URL模式，而生成URL模式通常的做法是：首先，将已知的URL转换成URL模式（URL Pattern，可用于表示一组形式相近的URL）；然后，采用人工的方式对这些URL模式的属性进行分类；最后，根据这些URL模式获取相应的网页并放入索引库中。然而，一方面，随着互联网中产生的网页数量的指数级增长，网页数量的增长速度远超过了搜索引擎对网页处理能力的增长速度。如果采用人工方式对网页进行分类，则分类时间长、效率低。因此，这种人工分类的方式难以大规模实施，能够覆盖到的页面数和产生的作用也比较有限。另一方面，由于一些URL即使表现形式相同，其页面内容也有可能会有较大差异，而现有技术的方法在聚合URL模式的过程中没有参考页面本身的属性（如页面质量、页面类型、语言等）。因此，这种方式聚合出的URL模式可能会导致粒度过大，造成有些URL模式内部包含多种不同类型的页面。因而搜索引擎无法准确地判断一个新页面的属性，从而进一步降低了其使用效果。

因此，在本领域中，需要一种方法，能够用于帮助提升页面的识别效率和准确性。

发明内容

本申请的主要目的在于提供一种确定网页属性的方法及装置，以解决现有技术中存在的不能有效、准确地识别网页属性的问题。

根据本申请的第一方面，提供了一种确定网页属性的方法，其特征在于，该方法包括：确定已知网页属性的URL的结构特征；确定目标URL的结构特征；比较已知网页属性的URL与目标URL的结构特征；以及当已知网页属性的URL与目标URL的结构特征相同或部分相同时，将已知网页属性的URL的至少部分网页属性确定为目标URL的网页属性。

根据本申请的第二方面，提供了一种确定网页属性的装置，其特征在于，该装置包括：第一结构特征确定模块，用于确定已知网页属性的URL的结构特征；第二结构特征确定模块，用于确定目标URL的结构特征；比较模块，用于比较已知网页属性的URL与目标URL的结构特征；以及目标URL网页属性确定模块，用于当已知网页属性的URL与目标URL的结构特征相同或部分相同时，将已知网页属性的URL的至少部分网页属性确定为目标URL的网页属性。

与现有技术相比，根据本申请的技术方案，通过比较已知网页属性的URL与目标URL的结构特征，能够以很高的精度预先确定未下载过的网页（即，目标网页）的各种属性。另外，使用这种方法大大提高了分类效率、节省了大量的下载和处理资源，提高了搜索引擎的数据质量，进而提高了用户的搜索质量。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请一个实施例的确定网页属性的方法的流程图；

图2是图1中的确定已知网页属性的URL的结构特征的步骤的更详细的流程图；

图3是根据本申请一个实施例的合并后的变形模式树的示意图；以及

图4是根据本申请一个实施例的用于确定网页属性的装置的结构框图。

具体实施方式