[发明专利]一种Ajax网页内容的抓取方法及系统

权利要求书

1.一种Ajax网页内容的抓取方法，其特征在于，包括：

获取网页代码信息；

提取所述网页代码信息中的JavaScript信息；

解析所述JavaScript信息，确定所述网页代码中包含Ajax调用的函数；

触发所确定的包含Ajax调用的函数，获得由所述包含Ajax调用的函数生成的网页内容；

所述JavaScript信息，包括JavaScript文件和/或JavaScript代码；

所述提取网页代码信息中的JavaScript信息，包括：

查询网页代码中的JavaScript标记；

如果JavaScript标记后的JavaScript信息为JavaScript代码，则提取所述JavaScript代码，将所提取的代码保存于JavaScript文件中；

如果JavaScript标记后的JavaScript信息为JavaScript文件，则提取所述JavaScript文件的存放路径和文件名。

2.根据权利要求1所述的方法，其特征在于，解析所述JavaScript信息，确定所述网页代码中包含Ajax调用的函数，包括：

根据Ajax特征值，确定所述JavaScript文件中所定义的包含Ajax调用的函数；进一步在这些函数中，确定网页代码中包含Ajax调用的函数；

其中，所述Ajax特征值为：可标识函数中存在Ajax调用的代码段。

3.根据权利要求2所述的方法，其特征在于，所述Ajax特征值包括：

使用JavaScript框架类型调用Ajax所对应的特征值，和/或不使用JavaScript框架类型调用Ajax所对应的特征值。

4.根据权利要求2所述的方法，其特征在于，所述确定JavaScript文件中所定义的包含Ajax调用的函数，包括：

确定在页面引用中的非JavaScript框架文件中所定义的包含Ajax调用的函数。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述触发所获得的包含Ajax调用的函数，包括：

通过模拟用户操作，触发所获得的包含Ajax调用的函数。

6.一种Ajax网页内容抓取系统，其特征在于，包括：

网页代码获取单元，用于获取网页代码信息；

脚本提取单元，用于提取所述网页代码信息中的JavaScript信息；

脚本解析单元，用于解析所述JavaScript信息，确定所述网页代码中包含Ajax调用的函数；

网页内容获得单元，用于触发所确定的包含Ajax调用的函数，获得由所述包含Ajax调用的函数生成的网页内容；

所述JavaScript信息，包括JavaScript文件和/或JavaScript代码；

所述脚本提取单元，包括：

查询子单元，用于查询网页代码中的JavaScript标记；

第一提取子单元，用于在JavaScript标记后的JavaScript信息为JavaScript代码时，提取所述JavaScript代码，将所提取的代码保存于JavaScript文件中；

第二提取子单元，用于在JavaScript标记后的JavaScript信息为JavaScript文件时，提取所述JavaScript文件的存放路径和文件名。

7.根据权利要求6所述的系统，所述脚本解析单元，包括：

第一确定子单元，用于根据Ajax特征值，确定所述JavaScript文件中所定义的包含Ajax调用的函数；所述Ajax特征值为：可标识函数中存在Ajax调用的代码段；

第二确定子单元，用于进一步在所述第一确定子单元所确定的函数中，确定网页代码中包含Ajax调用的函数。

8.根据权利要求7所述的系统，其特征在于，所述Ajax特征值包括：

使用JavaScript框架类型调用Ajax所对应的特征值，和/或不使用JavaScript框架类型调用Ajax所对应的特征值。

9.根据权利要求7所述的系统，其特征在于，

所述第一确定子单元，用于确定在页面引用中的非JavaScript框架文件中所定义的包含Ajax调用的函数。

10.根据权利要求6至9任一项所述的系统，其特征在于，

所述网页内容获得单元，用于通过模拟用户操作，触发所获得的包含Ajax调用的函数，获得由所述包含Ajax调用的函数生成的网页内容。