[发明专利]一种网页数据提取方法

摘要

本发明公开了一种网页数据提取方法，包括以下步骤：对中英文网页及文字的判别处理、提取文本、根据预先建立的特殊字符表查找出网页数据中的特殊字符并对特殊字符进行处理和过滤网页数据字符和存储网页文本；本发明能够准确的提取出网页数据的文本信息，并能去除掉一些脚本以及过滤掉一些网页数据字符，保证提取文本的准确性；能够对特殊字符进行特殊的解析处理；能够识别中英文网页并能采取对应的处理措施，避免对网页数据进行错误的处理。

主权项

一种网页数据提取方法，其特征在于包括以下步骤：A、对中英文网页及文字的判别处理；若超文本网页编码采用GB2312标准则为中文网页，否则为英文网页；对在网页标题及正文中的中文、英文或符号通过字符编码的范围进行判断；B、提取文本；B1、对获取的HTML源文件进行过滤处理并去掉其中的标签控制符提取文本信息；B2、去除脚本；去除脚本的方式包括两种，一种为对HTML进行解析时，若遇到Script开始标签，则查找Script结束标签，查找成功后在该结束标签后继续进行解析；另一种为默认脚本为文本并将其提取出来，然后再判断该文本是否为脚本代码，若是脚本则不予收集；C、根据预先建立的特殊字符表查找出网页数据中的特殊字符并对特殊字符进行处理；D、过滤网页数据字符和存储网页文本：对一个网页中的文本进行存储并对各分离的文本之间加上分隔符，同时将标签划分为分隔标签和普通标签，当两个文本之间为普通标签时则两个文本是连续文本；最后过滤网页数据后统一网页数据字符格式。