[发明专利]爬取电商网站关键词品类信息的方法及装置

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种爬取电商网站关键词品类信息的方法及装置。

背景技术

关键词分类信息是一项十分重要的信息。尤其针对电商网站，针对用户的一个搜索关键词，正确的给出关键词所属的品类，对于电商网站以及对于搜索引擎营销都有十分重要的意义。其中，该处的品类只针对电商，其是指依据商品的属性，将商品划分为若干的类别，且根据不同的维度可以进行多级品类。

网络爬虫是一项互联网中十分通用，普遍存在技术。许多公司，个人都会通过网络爬虫来批量的、大规模的爬取万维网上的信息。通用的网络爬虫，其爬取信息的原理一般为，其维护一组统一资源定位符(Uniform Resource Locator，URL)列表，首先在列表中添加一个最初的URL，然后遍历URL列表中的每一个URL，获取URL对应的页面，然后提取页面中的URL，更新到URL列表中。

目前，在爬取电商网站关键词品类信息时，通常使用的就是通用的网络爬虫。由于电商网站的商品信息繁多，其不同商品对应不同的页面，故要获取不同关键字对应商品的品类信息，就需要反复的去从新爬取的网页提取网页的URL信息然后维护到URL列表中，之后再进行URL对应页面的获取，使得爬取电商网站关键词品类信息的效率较低。

发明内容

有鉴于此，本发明提供一种爬取电商网站关键词品类信息的方法及装置，其主要目的在于提高爬取电商网站关键词品类信息的效率。

为达到上述目的，本发明提供如下技术方案：

一方面，本发明提供一种爬取电商网站关键词品类信息的方法，包括：

根据电商网站信息、爬取品类信息的关键词构造电商网站的搜索统一 资源定位符URL；

访问构造的电商网站的搜索URL，获取所述URL对应的网页的页面信息；

对所述网页的页面信息进行解析，提取出所述页面中描述电商网站关键词品类的信息，得到电商网站关键词品类信息。

另一方面，本发明提供一种爬取电商网站关键词品类信息的装置，包括：

构造单元，用于根据电商网站信息、爬取品类信息的关键词构造电商网站的搜索统一资源定位符URL；

访问单元，用于访问构造的电商网站的搜索URL，获取所述URL对应的网页的页面信息；

解析单元，用于对所述网页的页面信息进行解析，提取出所述页面中描述电商网站关键词品类的信息，得到电商网站关键词品类信息。

本发明提供的爬取电商网站关键词品类信息的方法及装置，其进行爬取电商网站关键词品类信息的网页URL不是从已知网页中提取的，而是根据电商网站信息、爬取品类信息的关键词构造的，这样相对于现有技术，省掉了从已知网页中提取URL并且将URL存储在URL列表中，之后再进行URL对应网页的爬取，在一定程度上提高了爬取的网页的效率，进而提高了爬取电商网站关键词品类信息的效率。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供一种爬取电商网站关键词品类信息的方法流程图；

图2示出了本发明实施例提供一种爬取电商网站关键词品类信息的装置组成框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供一种爬取电商网站关键词品类信息的方法，如图1所示，该方法包括：

101、根据电商网站信息、爬取品类信息的关键词构造电商网站的搜索URL。