[发明专利]基于Ajax的新闻网页动态数据的抓取方法及系统

摘要

本发明公开了基于Ajax的新闻网页动态数据的抓取方法及系统；建立新闻网页爬取内容数据库，设置新闻网页爬取内容数据库的编码方式；获得待抓取新闻网页的新闻列表页面的URL地址；访问URL地址，判断新闻列表页面是否是通过Ajax动态加载数据的；如果是，通过浏览器开发者工具找到请求的数据源；判断请求的数据源的编码方式是否一致，如果否，则对数据源进行编码转换，解析数据格式：将数据源的格式解析成为新闻列表页面的后台语言处理的对象格式或者数组格式；将解析后的数据封装成对象或数组类型；判断封装是否成功，成功就将数据对象或数组类型遍历输出列表；利用网络爬虫采集得到的输出列表；将采集到的数据存储到数据库中。

主权项

1.基于Ajax的新闻网页动态数据的抓取方法，其特征是，包括如下步骤：步骤(101)：建立新闻网页爬取内容数据库，设置新闻网页爬取内容数据库的编码方式；获得待抓取新闻网页的新闻列表页面的URL地址；步骤(102)：访问待抓取新闻网页的新闻列表页面的URL地址，通过浏览器开发者工具判断新闻列表页面是否是通过Ajax动态加载数据的；如果是，通过浏览器开发者工具找到Ajax请求的数据源；如果不是，就结束；步骤(103)：判断Ajax请求的数据源和步骤(101)的编码方式是否一致，如果不一致，则对数据源进行编码转换，将编码方式统一，统一采用UTF‑8的编码方式，然后，进入步骤(104)；如果一致，就直接进入步骤(104)；步骤(104)：解析数据格式：将数据源的格式解析成为新闻列表页面的后台语言处理的对象格式或者数组格式；步骤(105)：将步骤(104)解析后的数据封装成对象或数组类型；判断封装是否成功，若成功就直接进入步骤(106)；否则将数据作为字符串来处理；完成后进入步骤(106)；步骤(106)：将数据对象或数组类型遍历输出列表；步骤(107)：利用网络爬虫采集步骤(106)得到的输出列表；步骤(108)：将采集到的数据存储到数据库中。