[发明专利]一种利用分布式技术实现的数据采集与处理方法

摘要

本发明提出了一种利用分布式技术实现的数据采集与排序处理方法，利用分布式技术从网络上的数据库中搜集与待排名对象有关的数据，并对相关数据进行运算，进而对对象进行排名的方法，并用此方法实现了一个大学学术排名系统。本方法可分为两个部分，第一部分为数据采集，第二部分为数据分析，第三部分为数据计算。数据采集部分通过分布式工具从网络数据库中采集相关数据，数据分析部分对数据采集部分得到的数据进行分析，并将分析结果保存在文本文件中。数据计算部分利用数据分析的结果计算对象的得分并对其进行排名。

主权项

1.一种利用分布式技术实现的数据采集与排序处理方法，其特征在于此方法所包含的步骤为：步骤1).通过分布式计算工具，同时向各大搜索引擎发送用户请求，从某一类列表中依次读取该类列表中各子目录名称，并以此为关键字利用搜索引擎搜索与该子目录名称相关的数据情况；步骤2).抓取各搜索引擎返回的查询结果，并将其保存为超文本传输协议文件；步骤3).利用分布式计算工具的超文本传输协议文件分析器分析得到的文件，将其转换成爪哇对象，并通过遍历对象，获取需要的关键信息；步骤4).通过数据清洗，去除与排序无关的信息，只保留所需排序的有关若干种信息的收录情况，并按照此格式将处理过的数据保存入文档，每个子目录名称对应一个文件；步骤5).遍历每个子目录名称对应的文件，查询其中是否有重复数据，若有则将重复数据删除；步骤6).遍历每个子目录名称对应的文件，统计每个子目录名称中各种数据，步骤7)以每个子目录名称中各种数据计算每个子目录名称下的总得分，公式为：其中p、q、s、t为各个子目录名称下的4项统计数据，x、y、z、w为各个子目录名称中分别对应4种统计数据中最大的一个统计数，p、q、s、t在总得分中的权重分别为20％，20％，30％，30％。步骤8).根据每个子目录名称下的总得分，对所有子目录名称进行排序，得到排序结果。