[发明专利]分布式计算平台及其文件管理方法

说明书

本发明涉及一种分布式计算平台及其文件管理方法，应用服务器接收根据AGW协议传输的协议数据包，发送协议标识和解密后的协议数据包至网关服务器。网关服务器在协议标识表征数据上传请求时，对接收的解密后的协议数据包进行提取得到文件信息并发送至节点服务器进行存储；网关服务器在协议标识表征文件操作请求时，对接收的解密后的协议数据包进行提取得到操作信息，将操作信息发送至节点服务器，控制节点服务器反向连接到应用服务器进行文件数据传输。建立应用服务器、网关服务器和节点服务器之间的AGW协议通信，使得分布式计算平台不受语言限制，架构简单，降低了实现复杂度和用户应用设计复杂度，从而降低了平台的后期维护成本。

技术领域

本发明涉及计算机技术领域，特别是涉及一种分布式计算平台及其文件管理方法。

背景技术

计算和存储是信息产业发展的两大主题，分布式计算平台用于整合计算和存储资源，如何平衡计算的灵活性和数据分析的高效性一直是学术界和产业界的研究热点。大数据概念出现后以数据为中心的分布式系统研究越来越得到人们的关注，设计出具有灵活高效的面向数据的分布式系统成为了当前系统架构研究的重要课题。分布式文件系统是高性能计算和大数据平台系统的根基，是系统在高并发请求、数据量暴增和大数据传输环境下稳定进行数据传输的保障。

目前的分布式计算平台主要包含Hadoop和MPI(Message Passing Interface，信息传递接口)两大分支，其中Hadoop采用HDFS文件系统，只适合对大文件进行处理，无法高效存储大量小文件，且是重量级文件系统，设计与使用较为复杂；MPI由于没有分布式文件系统，支持无法有效地对大数据应用进行处理。由于应用开发语言的多样性和应用领域的多元化，传统的分布式计算平台为不同语言开发定制接口并为不同的应用领域定制功能，导致系统架构复杂，增加实现复杂度，增加用户应用设计复杂度，增加系统的后期维护成本。传统的分布式计算平台存在维护成本高的缺点。

发明内容

基于此，有必要针对上述问题，提供一种可降低后期维护成本的分布式计算平台及其文件管理方法。

一种分布式计算平台，包括应用服务器、网关服务器和节点服务器，所述应用服务器与所述网关服务器通过AGW协议通信连接，所述网关服务器和所述节点服务器通过AGW协议通信连接，所述节点服务器和所述应用服务器通过AGW协议通信连接；

所述应用服务器用于接收根据所述AGW协议传输的协议数据包，对所述协议数据包进行反序列化和解密，得到协议标识和解密后的协议数据包并发送至所述网关服务器，所述协议标识表征协议的请求目的；以及接收所述节点服务器传输的文件数据并输出；

所述网关服务器用于在接收的协议标识表征数据上传请求时，对接收的解密后的协议数据包进行提取得到文件信息并发送至所述节点服务器进行存储；在接收的协议标识表征文件操作请求时，对接收的解密后的协议数据包进行提取得到操作信息，将所述操作信息发送至所述节点服务器，并控制所述节点服务器根据所述操作信息反向连接到所述应用服务器进行文件数据传输。

一种分布式计算平台的文件管理方法，包括以下步骤：

应用服务器接收根据AGW协议传输的协议数据包，对所述协议数据包进行反序列化和解密，得到协议标识和解密后的协议数据包并发送至网关服务器；

所述网关服务器在接收的协议标识表征数据上传请求时，对接收的解密后的协议数据包进行提取得到文件信息并发送至所述节点服务器进行存储；

所述网关服务器在接收的协议标识表征文件操作请求时，对接收的解密后的协议数据包进行提取得到操作信息，将所述操作信息发送至节点服务器；

所述网关服务器控制所述节点服务器根据所述操作信息反向连接到所述应用服务器进行文件数据传输；

所述应用服务器接收所述节点服务器传输的文件数据并输出。