[发明专利]用户数据的采集方法及装置

说明书

技术领域

本发明实施例涉及互联网技术领域，尤其涉及一种用户数据的采集方法及装置。

背景技术

HTTPS(Hypertext transfer protocol over secure socket layer)，是以安全为目标的HTTP通道，简单讲就是HTTP的安全版。HTTPS的安全基础是SSL，因此加密的详细内容就需要SSL。SSL(Secure socket layer)协议，又称为安全套接字协议，是一种国际标准的加密机身份认证通信协议，它是由美国网景公司设计的基于WEB应用的安全协议，后来成为了Internet网上安全通讯与交易的标准。SSL协议综合运用了数据加密(Encryption)技术、身份认证技术等，为Internet上数据的传输提供安全保障，可确保数据在网络传输过程中不被截取、窃听和破解。SSL安全协议已被广泛应用于Web浏览器与服务器之间的身份认证和加密数据传输，Firefox、Netscape、IE等几乎所有浏览器均支持SSL协议。

网站的用户信息数据由于包含大量有效信息，是十分重要的数据源。然而，这种数据源的获取需要面对各种技术上的壁垒，例如，各种防火墙的防护，等等。这就造成对于用户数据的获取十分困难。

发明内容

针对上述技术问题，本发明实施例提供了一种用户数据的采集方法及装置，以实现对网络站点的用户详细数据的自动、高效的获取。

一方面，本发明实施例提供了一种用户数据的采集方法，所述方法包括：

获取网络站点的至少两个用户详细信息页面的统一资源定位器(Uniform resource locator,URL)，其中，所述URL的协议部分采用HTTPS协议；

通过比较所述至少两个用户详细信息页面的URL，确定所述网络站点的所有用户详细信息页面的URL的取值集合；

通过遍历所述网络站点的所有用户详细信息页面的URL的取值集合，采集所述网络站点的详细用户数据。

另一方面，本发明实施例还提供了一种用户数据的采集装置，所述装置包括：

URL获取模块，用于获取网络站点的至少两个用户详细信息页面的URL，其中，所述URL的协议部分采用HTTPS协议；

集合确定模块，用于通过比较所述至少两个用户详细信息页面的URL，确定所述网络站点的所有用户详细信息页面的URL的取值集合；

数据采集模块，用于通过遍历所述网络站点的所有用户详细信息页面的URL的取值集合，采集所述网络站点的详细用户数据。

本发明实施例提供的用户数据的采集方法及装置，通过获取网络站点的至少两个用户详细信息页面的统一资源定位器URL，通过比较所述至少两个用户详细信息页面的URL，确定所述网络站点的所有用户详细信息页面的URL的取值集合，通过遍历所述网络站点的所有用户详细信息页面的URL的取值集合，采集所述网络站点的详细用户数据，实现了对站点用户数据的自动获取。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明第一实施例提供的用户数据的采集方法的流程图；

图2是本发明第二实施例提供的用户数据的采集方法中集合确定操作的流程图；

图3是本发明第三实施例提供的用户数据的采集方法中URL获取操作的流程图；

图4是本发明第四实施例提供的用户数据的采集方法的流程图；

图5是本发明第五实施例提供的用户数据的采集装置的结构图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

第一实施例

本实施例提供了用户数据的采集方法的一种技术方案。在该技术方案中，用户数据的采集方法包括：获取网络站点的至少两个用户详细信息页面的URL；通过比较所述至少两个用户详细信息页面的URL，确定所述网络站点的所有用户详细信息页面的URL的取值集合；通过遍历所述网络站点的所有用户详细信息页面的URL的取值集合，采集所述网络站点的详细用户数据。

参见图1，用户数据的采集方法包括：

S11，获取网络站点的至少两个用户详细信息页面的URL。