[发明专利]一种元数据并行采集系统

权利要求书

1.一种元数据并行采集系统，其特征在于包括：应用模块、元数据存储模块、元数据处理模块、采集模块、采集调度模块、数字资源处理模块和注册服务器；提供共享元数据的数字图书馆经过数字资源处理模块转换成符合OAI架构的元数据仓储，成为DP，并向注册服务器注册能被采集调度模块利用的有关信息；采集调度模块根据采集节点的静态和动态信息对采集任务分组分配，采集模块通过采集调度模块得到所分配的DPs基地址进行元数据采集，在采集完后将元数据传输至元数据处理模块；元数据处理模块对元数据进行处理后传输至元数据存储模块分布存储；应用模块在采集的元数据的基础上为用户提供检索服务。

2.根据权利要求1所述的元数据并行采集系统，其特征在于：所述采集调度模块和采集模块实现过程为：

（1）采集调度模块在注册服务器获取采集任务信息；

（2）采集调度模块实时获取各个采集节点的静态信息和动态信息；

（3）采集调度模块存储各个采集节点的采集信息；

（4）采集调度模块计算各个采集节点的权值；

（5）采集调度模块采集调度节点根据计算的各个采集节点的权值，来进行各个采集节点任务目标的调整，把采集任务分组，配置给各个采集节点；

（6）采集调度模块将任务发送给采集模块的各个采集节点；

（7）采集节点收取采集调度模块的任务信息；

（8）采集节点根据任务信息调用封装好的采集算法进行采集；在任务组内采集时，利用移动Agent技术实现元数据的并行采集；

（9）采集到的信息封装后传送给存储模块。

3.根据权利要求1所述的元数据并行采集系统，其特征在于：所述元数据处理模块和存储模块实现过程如下：

（1）收集采集节点采集的元数据；

（2）元数据查重，将重复采集的元数据合并；

（3）将采集到的数据通过GridFTP负载均衡地传输至存储模块，进行分布存储，即临时存储；

（4）存储模块对存储的元数据记录进行DOM或SAX解析后，实现聚类操作；

（5）存储模块在聚类的基础上分类并存储，建立分类索引；

（6）建立的索引数据要用元数据进行描述，建立完成后清楚所建立的临时仓储，在本地服务器上利用OGSA-DAI对分布存储的元数据库进行逻辑集中管理。

4.根据权利要求1所述的元数据并行采集系统，其特征在于：所述应用模块具体实现过程：

（1）在原有的6个OAI请求动词的基础上，增加了一个ListAuthority谓语动词；

（2）ListAuthority用来采集所有DPs的全文查看授权信息，应用模块在元数据仓储中采集用户的权限信息；

（3）将采集到的DPs的全文查看授权信息保存在搜索集群中；

（4）用户检索后想获得某个数字资源的内容时需要进行认证；

（5）用户进行权限认证时，直接在搜索机群中进行认证。