[发明专利]基于pythonQT及智能算法的快速规则定制方法

摘要

本发明公开了基于pythonQT及智能算法的快速规则定制方法，涉及网页规则定制技术领域。本发明包括输入待爬取页面的URL，客户端通过URL加载页面；基于selenium提取页面中导航列表项；通过智能算法提取详情页正文部分；通过js技术从页面中获取页面元素规则，返回客户端；规则上传服务端，后台爬虫程序根据规则进行爬取。本发明通过selenium提取页面中导航列表项并过滤掉纵坐标大于浏览器高度的a标签以及横坐标相同的个数小于基准值的a标签；之后再通过智能算法提取详情页正文部分，避免了通过人工分析网站定制网页规则不适用多种繁杂的网站页面规则定制的问题，适用于与不同网站网页规则定制，提高网页规则定制效率。

主权项

1.基于pythonQT及智能算法的快速规则定制方法，其特征在于，包括如下步骤：S00：输入待爬取页面的URL，客户端通过URL加载页面；S01：基于selenium提取页面中导航列表项；S02：通过智能算法提取详情页正文部分；S03：通过js技术从页面中获取页面元素规则，返回客户端；S04：规则上传服务端，后台爬虫程序根据规则进行爬取；其中，S01中提取页面中导航列表项具体过程如下：A00：通过selenium标记页面中的可见标签；A01：对标记过的标签进行过滤；其中，S02中通过智能算法提取详情页正文部分具体过程如下：C00：将详情页中的html标签去除得到纯文本；C01：设定行块大小行数大小M、行块字数阈值并计算各行块的字符数N；C02：绘制以行数M为横坐标、行块字数N为纵坐标绘制行块曲线；CO3：获取骤降点与骤升点并确认正文区域。