[发明专利]一种将web网站中非格式化数据转为格式化数据的技术

说明书

技术领域

本发明涉及一种将web网站中非格式化数据转为格式化数据的技术，特别涉及一种采用网页智能抓取方式将web页面中的各类异构信息统一转化为格式化数据的技术。

背景技术

随着中国手机用户的爆炸式增长和移动互联网产业的快速发展。越来越多的人使用手机上网。3G牌照发放后，三大运营商都在为移动互联网业务进行布局。各类WAP网站如雨后春笋一样蓬勃发展。很多传统互联网网站都希望将自己原有的内容移植到移动互联网中，借助手机网络用户的增长，继续保持发展。当前的WAP站点的建设，大多依靠建立专门的项目组进行WAP程序开发。这其中需要解决数据整合，内容发布和管理，实时更新，系统运营与维护等众多复杂问题。要耗费相对较高的成本才能完成WAP站点的建立并整合原有WEB站点内容。本发明的建立，实现了在无需引入其他开发程序的技术上，将异构的网页数据自动转换为统一的格式化数据，便于数据的存放和筛选。

发明内容

本发明所要解决的技术问题是提供一种通过网页智能抓取技术将web页面中的各类异构信息统一转化为格式化数据的方法。

本发明所述的一种将web网站中非格式化数据转为格式化数据的技术，该方法至少包括如下的步骤：

步骤1：建立网页内容聚合服务，抓取指定的网页。

步骤2：建立网页智能解析服务和网页语义模式库。

步骤3：将异构的网页数据提纯变为标准的格式化数据。

本发明所述的一种将web网站中非格式化数据转为格式化数据的技术，建立网页内容聚合服务，抓取指定的网页，其步骤为：

步骤11：建立网页内容聚合程序，能够下载指定网页的内容。

步骤12：对目标互联网网页上的各类异构信息进行全面抓取。

本发明所述的一种将web网站中非格式化数据转为格式化数据的技术，建立网页智能解析服务和网页语义模式库，其步骤为：

步骤21：建立网页语义模式库，保存指定网页的语义模式。

步骤22：将抓取后的信息按语义模式进行分类，入库。

本发明所述的一种将web网站中非格式化数据转为格式化数据的技术，将异构的网页数据提纯变为标准的格式化数据，其步骤为：

步骤31：建立网页智能解析服务，对内容聚合得到的网页进行WEB提纯处理。

步骤32：对于索引页面，提纯后得到的数据是网页条目信息的列表。需要继续聚合每个网页条目的正文。对于正文页面，提纯后得到是网页的标题、时间、正文和相关图片。

步骤33：提纯后的格式化数据保存到内容库中。

本发明涉及一种将web网站中非格式化数据转为格式化数据的技术，使web页面中的各类异构信息统一转化为方便存放、易于筛选的格式化数据，大大降低了企业的成本，提高了web网页信息移植的可靠性。

具体实施方式

本发明的主要步骤如下：

步骤1：建立网页内容聚合服务，抓取指定的网页。

步骤2：建立网页智能解析服务和网页语义模式库。

步骤3：将异构的网页数据提纯变为标准的格式化数据。

上述步骤1建立网页内容聚合服务，抓取指定的网页的具体步骤如下：

步骤11：建立网页内容聚合程序，能够下载指定网页的内容。

步骤12：对目标互联网网页上的各类异构信息进行全面抓取。

上述步骤2建立网页智能解析服务和网页语义模式库的具体步骤如下：

步骤21：建立网页语义模式库，保存指定网页的语义模式。

步骤22：将抓取后的信息按语义模式进行分类，入库。

上述步骤3将异构的网页数据提纯变为标准的格式化数据的具体步骤如下：

步骤31：建立网页智能解析服务，对内容聚合得到的网页进行WEB提纯处理。

步骤32：对于索引页面，提纯后得到的数据是网页条目信息的列表。需要继续聚合每个网页条目的正文。对于正文页面，提纯后得到是网页的标题、时间、正文和相关图片。

步骤33：提纯后的格式化数据保存到内容库中。

上述的技术方案实施时使web页面中的各类异构信息统一转化为方便存放、易于筛选的格式化数据，大大降低了企业的成本，提高了web网页信息移植的可靠性。

最后所应说明的是，以上实施例仅用以说明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的实施例对本发明已进行了详细的说明，但是，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或者等同地替换；而一切不脱离本发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。