[发明专利]网页正文内容获取方法、装置、计算机设备及存储介质在审
| 申请号： | 201910568687.1 | 申请日： | 2019-06-27 |
| 公开（公告）号： | CN110688552A | 公开（公告）日： | 2020-01-14 |
| 发明（设计）人： | 王涛;朱葛 | 申请（专利权）人： | 平安科技(深圳)有限公司 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951 |
| 代理公司： | 44507 深圳市力道知识产权代理事务所(普通合伙) | 代理人： | 何姣 |
| 地址： | 518000 广东省深圳市福田区福*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请涉及数据采集领域，具体使用了数据爬取技术，采用网络爬虫的方式进行爬取，并公开了一种网页正文内容获取方法、装置、计算机设备及存储介质，对爬取的待处理网页进行空白部分和文字部分的保留处理以得到预留content内容，将所述预留content内容进行合并处理以得到第一Block块，对所述第一Block块进行空白、转义字符的去除处理以得到多个第二Block块，从所述多个第二Block块中爬取网页标题，并提取位于所述网页标题预设范围内的周围文本，根据预设规则提取目标的正文内容。本申请利用网页标题及相关内容的特点，能够实现快速定位正文内容并进行爬取，避免遗漏正文重点信息，提高了爬取的精确度，还减少人工参与的工作量。 | ||
| 搜索关键词： | 网页标题 正文内容 预留 数据采集领域 网页正文内容 计算机设备 存储介质 合并处理 快速定位 人工参与 网络爬虫 预设规则 重点信息 转义字符 预设 去除 申请 遗漏 工作量 网页 文本 保留 | ||
【主权项】：
1.一种网页正文内容获取方法，其特征在于，包括：/n对爬取的待处理网页进行空白部分和文字部分的保留处理以得到预留content内容；/n将所述预留content内容进行合并处理以得到第一Block块；/n对所述第一Block块进行空白、转义字符的去除处理以得到多个第二Block块；/n从所述多个第二Block块中爬取网页标题，并提取位于所述网页标题预设范围内的周围文本；/n根据预设规则从所述网页标题和所述周围文本中提取目标的正文内容。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司，未经平安科技(深圳)有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910568687.1/，转载请声明来源钻瓜专利网。
