[发明专利]一种网页内容抽取的方法在审
申请号: | 201711392836.0 | 申请日: | 2017-12-14 |
公开(公告)号: | CN108132919A | 公开(公告)日: | 2018-06-08 |
发明(设计)人: | 郭国庆;翟建强 | 申请(专利权)人: | 宁波升维信息技术有限公司 |
主分类号: | G06F17/22 | 分类号: | G06F17/22;G06F17/30 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 315010 浙江省宁波*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开一种网页内容抽取的方法,涉及信息技术领域,可以在进行网页内容抽取时,准确抽取网页标题以及网页中各个元素。本发明通过将HTML源码转换为对应的文档树结构,并根据文档树结构的TITLE标签,确定网页标题;根据网页标题,确定网页中的网页元素,网页元素至少包括网站LOGO、页面导航、新闻发布时间、新闻来源;根据网页标题,以及文档树结构的文本块的密度和文字数,确定各个文本块的属性;抽取所述网页标题、所述网页元素以及所述网页内容为正文的正文文本块,获取网页全文。本发明提供的方案适于进行网页内容抽取时采用。 | ||
搜索关键词: | 网页标题 网页内容 抽取 网页元素 树结构 文档 网页 文本块 信息技术领域 新闻发布 新闻来源 页面导航 正文文本 网站 字数 标签 转换 | ||
【主权项】:
一种网页内容抽取的方法,其特征在于,包括:将超文本标记语言HTML源码转换为对应的文档树结构,并根据所述文档树结构的标题TITLE标签,确定网页标题;根据所述网页标题,确定网页中的网页元素,所述网页元素至少包括网站商标LOGO、页面导航、新闻发布时间、新闻来源;根据所述网页标题,以及所述文档树结构的文本块的密度和文字数,确定各个文本块的属性,所述文本块的属性包括所述文本块的网页内容为正文,或者所述文本块的网页内容非正文;抽取所述网页标题、所述网页元素以及所述网页内容为正文的正文文本块,获取网页全文。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于宁波升维信息技术有限公司,未经宁波升维信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201711392836.0/,转载请声明来源钻瓜专利网。