[发明专利]一种基于信息密度提取网页正文的方法

摘要

本发明主要是提供一种基于信息密度提取网页正文的方法，利用该方法能够过滤网页中与主题无关的信息，并将网页中真实主题的正文提取。该方法基于对网页html标签及内容的统计分析，统计出网页html标签的数量以及每一个html标签包含子标签的数量，网页中每一个html标签包含字符的数量，网页中每一个html标签包含标点符号的数量，网页中每一个html标签包含链接的数量，网页中每一个html标签包含图片的数量；进一步计算出网页标签密度，字符密度，标点密度，链接密度，图片密度五个计算分量，将五个计算分量的乘积作为每一个html标签的信息密度；筛选出网页中信息密度值最大的标签作为网页正文输出。该方法利用网页信息密度的分布规律区分网页中的有效信息和无关的信息，具有很强的通用性，无需预先设定网页的提取规则，不需要人为设置提取的阈值，对各类网页正文提取准确高效。

主权项

一种基于信息密度提取网页正文的方法，其特征在于，包括：获取网页html文件；将其中与网页展示内容不相关的标签删除；统计出网页html标签的数量以及每一个html标签包含子标签的数量，网页中每一个html标签包含字符的数量，网页中每一个html标签包含标点符号的数量，网页中每一个html标签包含链接的数量，网页中每一个html标签包含图片的数量；计算网页中的每一个html标签的信息密度；筛选出网页中信息密度值最大的标签作为正文输出。