[发明专利]一种利用分布式技术实现的数据采集与处理方法

权利要求书

1.一种利用分布式技术实现的数据采集与排序处理方法，其特征在于此方法所包含的步骤为：

步骤1).通过分布式计算工具，同时向各大搜索引擎发送用户请求，从某一类列表中依次读取该类列表中各子目录名称，并以此为关键字利用搜索引擎搜索与该子目录名称相关的数据情况；

步骤2).抓取各搜索引擎返回的查询结果，并将其保存为超文本传输协议文件；

步骤3).利用分布式计算工具的超文本传输协议文件分析器分析得到的文件，将其转换成爪哇对象，并通过遍历对象，获取需要的关键信息；

步骤4).通过数据清洗，去除与排序无关的信息，只保留所需排序的有关若干种信息的收录情况，并按照此格式将处理过的数据保存入文档，每个子目录名称对应一个文件；

步骤5).遍历每个子目录名称对应的文件，查询其中是否有重复数据，若有则将重复数据删除；

步骤6).遍历每个子目录名称对应的文件，统计每个子目录名称中各种数据，

步骤7)以每个子目录名称中各种数据计算每个子目录名称下的总得分，公式为：

其中p、q、s、t为各个子目录名称下的4项统计数据，x、y、z、w为各个子目录名称中分别对应4种统计数据中最大的一个统计数，p、q、s、t在总得分中的权重分别为20％，20％，30％，30％。

步骤8).根据每个子目录名称下的总得分，对所有子目录名称进行排序，得到排序结果。