[发明专利]由动态网页上获取链接信息的方法及其服务器

说明书

【技术领域】

本发明涉及网络数据取得领域，更具体地说，涉及一种由动态网页上获取链接信息的方法及其服务器。

【背景技术】

随着网络技术的发展，互联网在人们的生活中越来越重要，逐渐成为人们获得信息的渠道之一。其趋势是网络上的共享资源越来越多。但是，处于某些目的，例如统计流量或统计客户来源等等，现在很多资源共享网站提供的页面往往并不是可以通过一个简单的URL就可以访问的。现在越来越多网站对视频资源采取了保护措施，比如通过加密视频源代码及转化视频格式，加密字段的有效期和点击的时间必须在同一个时段内，这样将真实视频链接地址隐藏起来，只有经过多重身份认证及授权后方可使用提供服务的页面。否则将无法正常访问下载。这使得即使是具有合法权限的用户在访问这些链接时也非常不方便，在客户不太熟练的情况下，可能会带来网络资源被大量占用的问题。

【发明内容】

本发明要解决的技术问题在于，针对现有技术的上述使用不方便、网络资源可能被大量占用的缺陷，提供一种使用方便、不会占用太多网络资源的由动态网页上获取链接信息的方法及其服务器。

本发明解决其技术问题所采用的技术方案是：构造一种由动态网页上获取链接信息的方法，包括与动态网页连接的服务器，还包括如下步骤：

A)所述服务器按照设定自动访问所述动态网页，取得所述动态网页上的参数；

B)使用所述取得参数，生成模拟HTTP请求并发送到所述动态网页；

C)取出所述动态网页回应所述请求中的链接信息。

在本发明所述的方法中，所述步骤A)进一步包括如下步骤：

A1)所述服务器按照设定时间自动连接所述动态网页；

A2)所述服务器取出所述动态网页上当前参数。

在本发明所述的方法中，所述步骤A2)中通过分析所述动态网页的HTML文件脚本中各检索参数项来获得所述参数。

在本发明所述的方法中，所述步骤B)进一步包括如下步骤：

B1)对所述取得的参数进行预处理，得到检索表达式；

B2)对照所述动态网页的HTML脚本或引用的文件脚本，清理所述检索参数项与所述检索表达式的转换关系，修正所述检索表达式；

B3)依据所述检索表达式生成HTTP请求，并发送到所述动态网页。

在本发明所述的方法中，还包括如下步骤：

D)转换所述取得的链接信息的数据格式为适于在动态信息浏览界面中显示的格式并存储。

本发明还揭示了一种由动态网页上获取链接信息的服务器，所述服务器包括：

网页参数取得单元：用于按照设定自动访问所述动态网页，取得所述动态网页上的参数；

请求形成单元：用于依据所述取得参数，生成模拟HTTP请求并发送到所述动态网页；

链接信息取得单元：用于由所述动态网页对于所述请求的回应中取出其上内容的链接信息。

在本发明所述的服务器中，所述网页参数取得单元进一步包括：

自动连接子单元：用于按照设定的时间使得所述服务器与所述动态网页自动连接；

当前参数取得子单元：用于取得所述动态网页页面上的参数。

在本发明所述的服务器中，所述当前参数取得子单元包括将所述动态网页的HTML文件脚本取出，并取得所述脚本中检索参数的检索参数项分析模块。

在本发明所述的服务器中，所述请求形成单元进一步包括：

预处理子单元：用于对所述HTML文件脚本中的检索参数项进行预处理，形成检索表达式；

检索表达式修正子单元：用于结合所述动态网页的HTML脚本或引用的文件脚本，对所述检索表达式进行修正；

HTTP请求形成子单元：用于使用所述修正后的检索表达式，形成发送到所述动态网页的HTTP请求。

在本发明所述的服务器中，所述服务器还包括将所述得到的动态网页上的链接信息转换为适于在动态浏览界面上显示的数据格式的链接信息格式转换单元。

实施本发明的由动态网页上获取链接信息的方法及其服务器，具有以下有益效果：由于自动与动态网页连接并取得其上的检索参数，形成请求发送到该网页，并从该网页对上述请求的回复中取出其中的链接信息，所述与上述服务器连接的终端就可以直接由所述服务器得到动态网页上的链接，不用访问该网页并通过多次验证，所以其使得终端的访问较为方便、不会占用太多的网络资源。

【附图说明】

图1是本发明由动态网页上获取链接信息的方法及其服务器实施例中方法流程图；

图2是所述实施例中服务器的结构示意图；

图3是所述实施例中请求形成单元结构示意图。