[发明专利]一种校园网格数据传输服务中数据索引方法

说明书

技术领域

本发明是一种基于网格的校园数据传输服务中数据的索引方案。通过在Globus Toolkit(Globus提供的工具包)提供的MDS(监控与发现系统)和GridFTP(基于网格的数据传输协议)两个组件基础上增加了索引服务，实现了Web用户方便的获得MDS所发现的数据资源列表，主要用于解决大规模网格数据传输时数据查询，属于计算机网络技术领域。

背景技术

校园数据传输服务中的GridFTP服务数量众多，使用频繁，成为承载校园文化的重要平台，当前，现有校园GridFTP服务在数据查询上存在两个主要问题：①资源信息定位难：用户得不到第三方工具进行资源定位。②数据信息描述不充分：导致资源定位更加困难，同时难以避免不必要的数据冗余。这些问题的根源在于Globus提供的MDS是基于Web Service的服务，而GridFTP是非Web Service的服务，且Globus所提出的网格安全架构GSI(Grid SecurityInfrastructure)目前只支持Linux操作系统，极大的限制了网格跨平台的特性。为此，在校园GridFTP服务中提出了一种索引机制，方便数据的查询。

发明内容

技术问题：本发明的目的是提供一种校园网格数据传输服务中数据的索引方法，来解决原有校园GridFTP内资源共享不方便，减少数据冗余，与过去使用的GridFTP服务不同，本方法是一种基于索引的数据传输机制，通过使用本发明提出的方案可以达到快速发现校园GridFTP内资源，提高资源共享，以及数据高速传输的目的。

技术方案：本发明试图通过为GridFTP服务中的数据传输建立索引机制，方便数据的高效传输，让校园GridFTP服务为我们提供一个资源共享的大平台，成为校内信息传播的重要途径。

本发明是一种校园网格GridFTP服务中数据的索引方法，任何获得网格安全信任的数据提供者都可以方便的获得或退出网格GridFTP服务，同时又充分的兼容现有的GridFTP服务器程序及数据，我们所要做的只是在Globus的GridFTP基础上添加一个能提供网格服务接口的索引中间件，

本发明校园网格数据传输服务中数据的索引方法所包含的步骤为：

步骤1)在网格环境中配置外部信息提供者，并将他们与网格自带的监控器-资源监控与发现系统集成，将监控所需的环境配置完成；

步骤2)数据采集者按照固定周期轮询T采集网格环境下的各个节点的主机名、处理器速度、内存使用情况、文件系统大小及使用情况等性能数据信息；

步骤3)将采集到的性能数据定时汇总到目录服务中，并以图形化的形式展现给用户，方便用户选择相应的节点处理数据，并将该时刻得到的数据保存在智能监控器中；

步骤4)索引服务器与基于网格的数据传输服务器的会话协议：在索引服务器中建立数据描述表，该表中登记了网格数据传输站点，协议要完成把索引服务中的数据资源，索引到基于网格的数据传输站点中去，并且写入数据传输日志，记录其传输任务编号，数据发送者标识相关信息；协议还要完成索引服务器与索引服务器之间的会话，需要解决在什么时间内有效，确定有效性的间隔时间与网络负载之间的平衡，要取得间隔时间短，但网络开销不大的平衡点，包括索引服务器列表信息、索引服务器状态信息、响应时间；

步骤5)用户通过客户端登陆网格门户，查看各个节点的资源状态信息、各个节点计算处理能力，将需要的共享传输的资源发布出去，过时的资源删除，实现资源的动态的加入离开校园网格这个虚拟组织；

步骤6)用户通过索引资源列表，还可以以获得信任的第三方身份控制网格节点中的数据传输，就是调用节点中打包好的网格服务，控制节点间的数据传输；

步骤7)此时用户再刷新下索引服务列表，如果资源已被预先期望的节点共享，则一个网格索引服务生命周期结束。

如图1所示，下面给出校园网格数据传输服务中索引方法的具体实现方案。

一、体系结构

一个运用这种方法的索引体系结构，它的功能部件主要包括数据传输日志，MDS监控器，索引服务器。三者关系如图2所示，

下面我们给出几个具体部分的说明：

数据传输日志：为了提高基于网格服务进行数据传输的可靠性，本发明引入了数据传输日志机制。对于一个运行着数据传输任务，由以一个或多个传输子任务组成。在传输日志中有两个部分与之对应。一部分是传输任务项，另一部分是传输子任务项。传输任务项标识了整个传输任务，传输子任务项标识了一个传输子任务。传输任务项含以下几个部分：