[发明专利]一种Ajax网页内容的抓取方法及系统

说明书

技术领域

本发明涉及网络技术领域，特别是涉及一种Ajax网页内容的抓取方法及系统。

背景技术

Ajax(Asynchronous JavaScript and XML，异步JavaScript和XML)是一种创建交互式网页应用的网页开发技术。对于传统的网页，如果页面上的部分内容进行了更新，则用户需要刷新整个页面之后才能看到更新后的内容。而对于Ajax网页，用户可以在不刷新整个页面的情况下，仅去获取更新部分的内容。这样，对于网络侧设备，能够避免重复传输那些没有改变过的信息，从而节省网络带宽资源，减轻服务器的负担；而对于用户而言，能够有效减少浏览网页过程中的等待时间，提升了用户体验。

搜索引擎是一种能够搜集互联网信息，并对信息进行组织和处理、为用户提供检索服务的系统，目前已经成为用户上网必不可少的辅助工具之一。搜索引擎的一个重要组成部分是网络爬虫，它能够自动抓取网页内容，为搜索引擎提供实时更新的数据。现有的网络爬虫能够较好地支持传统的网页，但是对于Ajax网页中由Ajax动态生成的内容，网络爬虫无法有效地抓取。这些Ajax网页中的动态内容也就无法被搜索引擎所收录，进而导致搜索引擎无法为用户提供内容完整的检索服务。

发明内容

有鉴于此，本申请提供了一种Ajax网页内容的抓取方法及系统，以解决Ajax网页中的动态内容无法被搜索引擎所收录的问题，技术方案如下：

本申请提供一种Ajax网页内容的抓取方法，包括：

获取网页代码信息；

提取所述网页代码信息中的JavaScript信息；

解析所述JavaScript信息，确定所述网页代码中包含Ajax调用的函数；

触发所确定的包含Ajax调用的函数，获得由所述包含Ajax调用的函数生成的网页内容。

本申请还提供一种Ajax网页内容抓取系统，包括：

网页代码获取单元，用于获取网页代码信息；

脚本提取单元，用于提取所述网页代码信息中的JavaScript信息；

脚本解析单元，用于解析所述JavaScript信息，确定所述网页代码中包含Ajax调用的函数；

网页内容获得单元，用于触发所确定的包含Ajax调用的函数，获得由所述包含Ajax调用的函数生成的网页内容。

以上技术方案，通过解析网页代码中的JavaScript信息，获得网页代码中包含Ajax调用的函数，进一步触发这些函数，即可得到由这些包含Ajax调用的函数所生成的网页内容，实现对Ajax网页中动态内容的抓取。应用以上技术方案，搜索引擎可以收录更为完整的网页内容，为搜索用户提供更完善的检索服务。

附图说明

图1为本申请实施例实现Ajax网页内容抓取方法的流程图；

图2为本申请实施例实现提取网页代码信息中JavaScript信息的方法流程图；

图3为本申请实施例Ajax网页内容抓取系统的结构示意图；

图4为本申请实施例脚本提取单元的结构示意图；

图5为本申请实施例脚本解析单元的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请所提供的技术方案，下面结合附图对本申请的实施方式作进一步的详细说明。

图1所示为本申请所提供的一种Ajax网页内容抓取方法的流程图，包括以下步骤：

S101，获取网页代码信息；

本步骤与传统网络爬虫的工作机制类似，通过URL(Uniform Resource Locator，统一资源定位符)地址由网络中读取该地址所对应的网页代码信息。

S102，提取网页代码信息中的JavaScript信息；

获取网页的代码信息之后，首先提取其中的JavaScript(Java脚本)信息。以HTML(Hyper Text Mark-up Language，超文本标记语言)代码为例，在HTML代码中加入JavaScript信息的形式一般包括以下两种：

1)将JavaScript代码直接嵌入HTML代码中；

2)将JavaScript代码放入外部文件，并在HTML代码中引用该外部文件。

对于形式1)，其具体实现可以是将JavaScript代码放在HTML代码的标记对<script>和</script>之间，一般格式如下：

<script type＝″text/javascript″>

//js代码