[发明专利]支持分布式决策的大规模高并发访问I/O服务器负载均衡系统

摘要

本发明针对高性能计算机中缺乏高数据并发访问的文件级别的文件分条，针对面向分条文件的、并且能够充分考虑动态文件访问特性的分配方法以及一种支持分布式决策的负载均衡等问题，公开了一种支持分布式决策的大规模高并发访问I/O服务器负载均衡系统，为高性能计算机提供了具有高扩展性、充分考虑网络延迟和迁移代价的新型动态负载均衡支持。在模块构成上主要包括面向高并发文件访问请求的文件级分条，最小化IO访问冲突的文件分配和基于分布式决策的负载均衡。本发明可以满足具有大规模高并发和分布式决策的高性能计算机的负载均衡系统应用需求。因此，本发明具有广阔的应用前景和可产生显著的经济效益等特色。

主权项

一种支持分布式决策的高性能计算机文件系统中大规模高并发访问I/O服务器负载均衡系统，其特征在于包括如下三个模块：（1）面向高并发文件访问请求的文件级分条，该模块能够根据文件的访问特点，如请求大小和文件并发访问度等，自动设置文件的分条大小，从而为高效的并行I/O提供有利保证，具有满足高并发和文件级分体实现的需求的技术特征；（2）最小化I/O访问冲突概率的文件分配，该模块主要完成最小化IO访问冲突的文件分配，该方法不仅充分考虑文件的分条策略，而且充分考虑文件访问的冲突概率，实现和保证了并行I/O性能，同时也是文件之间进行并行数据访问性能的有力根基；（3）基于分布式决策的动态负载均衡，该模块具有高扩展性、充分考虑决策延迟、迁移代价和迁移抖动的特征，可以有效的消除并行文件系统的性能瓶颈、保证并行文件数据访问的性能和扩展性；该模块包括四个子模块：1）基于时间序列分析的在线负载预测，用来估计这个数据服务器短期内的负载，这些预测的负载可以被其他服务器收集来进行负载决策，从而可以减少负载决策延迟；2）最小化IO访问冲突的文件分配，其用于负载收集的信息交换可能降低整个系统的性能；3）面向大规模服务器的分布式负载决策机制，基于整个系统的负载状况和本数据服务器自己的负载，该负载决策机制能够在分布式体系结构下决定是否需要触发动态文件迁移以平衡服务器间的负载；4）自适应的动态文件迁移，当服务器需要转移自己的负载时，其可以根据收集到的负载信息以及自己服务器上不同文件的负载状况来选择迁移的对象，以平衡动态文件迁移收益和副作用，用于把需要迁移的文件数据转移到选择的目标服务器上。