[发明专利]一种面向大数据的特征提取并行处理方法

摘要

本发明公开了一种面向大数据的特征提取并行处理方法，改变传统大数据的特征提取并行处理方法，在互联网抓取系统的数据抓取方法上进行改进，首先在GPU上为任务数据和特征数据分配存储空间，然后提供特征数据关键词库内的关键词，在搜索引擎上URL采集，并提供用户自定义关键词的采集，根据所抓取配置信息，极大地提高了操作的便利性，然后确定抓取目标网址，先找到含有所需数据的网址，判断数据的可靠性以及抓取的可行性和难度，分析页面内容及其组织方式，确定抓取规则，最后，通过正则表达式匹配对每个层次的文本，根据定义的标识串，对网页文本进行匹配搜索以提取所需数据，抓取效率高，抓取的准确性也大大提升。

主权项

1.一种面向大数据的特征提取并行处理方法，其特征在于：具体包括如下步骤：S1：在GPU上为任务数据和特征数据分配存储空间；S2：提供特征数据关键词库内的关键词，在搜索引擎上URL采集，并提供用户自定义关键词的采集；S3：根据所抓取配置信息，从目标网站的版面索引页开始，逐一抓取所述版面索引页上出现的正文的链接，并深入正文的链接爬取正文分页信息和正文内容，系统利用URL校验的方式将获取到的URL进行去重；S4：URL采集爬虫包含深度优先和广度优先算法，并可配置爬取深度和用户权限，通过调用者服务确定数据抓取的服务接口，并通过提供者服务确定响应服务接口的实现服务，进而通过调用实现服务，以对其他业务单据中的数据进行抓取，使得能够实现以核心业务单据为维度，自动对与其关联的业务单据的数据进行抓取，极大地提高了操作的便利性；S5：确定抓取目标网址，先找到含有所需数据的网址，判断数据的可靠性以及抓取的可行性和难度；S6：分析页面内容及其组织方式，确定抓取规则；S7：正则表达式匹配对每个层次的文本，根据定义的标识串，对网页文本进行匹配搜索以提取所需数据。