[发明专利]一种电商网站的页面信息获取方法

权利要求书

1.一种电商网站的页面信息获取方法，其特征在于，该电商网站包括主页面、导航页面、商品页面，其中，主页面具有导航页面URL，导航页面具有商品页面URL，一个导航页面对应一个类别的商品，该方法包括：

从主页面提取导航页面URL，

从导航页面提取商品页面URL，

根据商品页面URL下载商品页面信息，

其中，每隔预定的时间间隔从导航页面重新下载商品页面URL，其中下载的商品页面URL按上架时间被排序，

其中，通过以下过程对商品页面信息进行更新：

按顺序比较最新下载的导航页面的商品页面URL与对应序位历史下载的该导航页面的商品页面URL，当比较结果不相同时，将历史下载的该导航页面的商品页面URL更新为对应序位的最新下载的导航页面的商品页面URL，并下载该最新下载的导航页面的商品页面URL的商品信息；

其中，所述从导航页面提取商品页面URL包括：

根据商品页面XPath模式从所述导航页面提取匹配XPath模式的URL作为所述商品页面URL。

2.如权利要求1所述的方法，其特征在于，其中，通过以下过程对商品页面信息进行更新：

按顺序比较最新下载的导航页面的商品页面URL与对应序位历史下载的该导航页面的商品页面URL，以及比较该最新下载的导航页面的商品页面URL的商品页面的SimHash特征码与对应序位历史下载的该导航页面的商品页面URL所分别对应的商品页面的SimHash特征码，

当该最新下载的导航页面的商品页面URL与对应序位历史下载的该导航页面的商品页面URL不相同并且该最新下载的导航页面的商品页面URL的商品页面的SimHash特征码与对应序位历史下载的该导航页面的商品页面的URL商品页面的SimHash特征码差异小于设定值时，将历史下载的该导航页面的商品页面URL更新为对应序位的最新下载的导航页面的商品页面URL，并下载该最新下载的导航页面的商品页面URL的商品信息。

3.如权利要求1所述的方法，其特征在于，

通过导航页面URL模式从主页面提取导航页面URL，其中，导航页面URL模式以正则表达式形式表示。

4.如权利要求1所述的方法，其特征在于，

所述从导航页面提取商品页面URL具体包括：

根据商品页面XPath模式从导航页面提取匹配XPath模式的URL作为商品页面URL，其中，通过以下过程获得对应一个导航页面的一类商品页面的XPath模式：

创建该导航页面的所有URL所在节点的XPath集合，

对该XPath集合利用KNN聚类算法进行聚类，其中使用XPath距离作为该KNN聚类算法的距离度量参数，

选择成员数目最大的类作为商品页面URL的模板区域，

将上述选择的类中的商品页面URL进行模式化得到该导航页面的该类商品页面的XPath模式，

其中，所述XPath距离dis()指示XPath p₁和XPath p₂的差异程度，其计算公式如下：

其中，TL()是将XPath分解成一组序偶的函数，每个序偶由该XPath中的标签名称和该标签在该XPath中的位置序号组成。