[发明专利]一种基于模糊逻辑的网页页面正文抽取方法及系统

摘要

本发明公开了一种基于模糊逻辑的网页页面正文抽取方法，包括：读取网页页面的内容；统计网页页面中的行块字符数；统计网页页面中的行块超链接数；基于模糊逻辑推理进行参数模糊化和规则推理，并通过解模糊算法输出行块正文概率值；判断所述行块正文概率值是否大于预设正文概率阈值，若是，则：输出行块正文概率值大于预设正文概率阈值所在的行块的内容。本发明无需针对特定的网页页面配置模板等监督规则，即可以准确识别网页页面中的正文内容，实现高效、通用的网页页面正文抽取。本发明还公开了一种基于模糊逻辑的网页页面正文抽取系统。

主权项

1.一种基于模糊逻辑的网页页面正文抽取方法，其特征在于，包括：读取网页页面的内容；统计网页页面中的行块字符数；统计网页页面中的行块超链接数；基于模糊逻辑推理进行参数模糊化和规则推理，并通过解模糊算法输出行块正文概率值；判断所述行块正文概率值是否大于预设正文概率阈值，若是，则：输出行块正文概率值大于预设正文概率阈值所在的行块的内容；其中，所述统计网页页面中的行块字符数具体为：过滤网页页面的HTML标签和JS脚本，得到网页纯文本；依据字符数隶属度函数统计每个行块所包含的文本数；其中：SC表示少字符数、MC表示中字符数、LC表示多字符数；所述统计网页页面中的行块超链接数具体为：依据超链接数隶属度函数统计网页页面对应行块的超级链接数目；其中：SL表示少超链接数、ML表示中超链接数、LL表示多超链接数。