[发明专利]一种面向词典集的复杂从属结构网页信息抽取方法及系统

摘要

本发明公开了一种面向词典集的复杂从属结构网页信息抽取方法：根据页面标识判断页面是否完整并返回目标完整html页面；根据语义相关性将预设语种主标题挂接至定义的规则表示词典集中对应的规则表示中，生成全表示词典集；从复杂从属结构页面下提取全文本内容并最终形成目标文本内容，并用规则表示词典集中的规则表示替换全表示词典集分割目标文本内容得到包含每个规则表示子集的全分割复杂从属文本集；合并全分割复杂从属文本集中相同规则表示的子集内容并将其作为每个规则表示的全内容；基于新发布页面重新抽取主标题内容动态扩充全表示词典集。本发明解决了传统的网页的信息解析方法中不同站点之间内容主题相同但页面结构不统一而导致的解析困难的问题。

主权项

1.一种面向词典集的复杂从属结构网页信息抽取方法，其特征在于，包括以下步骤：S1、根据页面标识判断页面是否完整，若是，直接生成目标完整html页面，若否，利用splash技术动态渲染js脚本后返回目标完整html页面；S2、定义规则表示词典集，抽取待爬取站点主标题且将不同国际语言主标题转换为预设语种主标题，并根据语义相关性将上述预设语种主标题挂接至规则表示词典集中对应的规则表示中，生成全表示词典集；S3、从目标完整html页面中提取复杂从属结构下全文本内容并去除无效字符形成目标文本内容，基于全表示词典集分割目标文本内容，并用规则表示词典集中的规则表示替换，得到包含每个规则表示子集的全分割复杂从属文本集；S4、合并全分割复杂从属文本集中相同规则表示的子集内容并将其作为每个规则表示的全内容；S5、在预设时间内基于新发布页面重新抽取主标题内容动态扩充全表示词典集。