[发明专利]一种用于确定面向海洋模式计算的资源分配参数的方法及系统

说明书

本发明公开了一种用于确定面向海洋模式计算的资源分配参数的方法，包括：步骤1，从输入设备获取已采集的海洋原始数据集；步骤2，向主控服务器发送参数分配请求，确定面向海洋模式计算中所需的主核资源参数和从核资源参数；步骤3，利用主核资源、从核资源、主核资源参数和从核资源参数进行并行计算，以获取海洋预测数据集；步骤4，确定预测耗时，并利用海洋原始数据集对应的海洋实际数据集和海洋预测数据集确定预测准确率；步骤5，判断预测准确率和预测耗时是否满足预设的最优方案确定条件；步骤6，满足时，确定当前的主核资源参数和从核资源参数为最优的资源分配参数；步骤7，不满足时，重新确定主核资源参数和从核资源参数并返回步骤3。

技术领域

本发明涉及互联网技术领域，并且更具体地，涉及一种用于确定面向海洋模式计算的资源分配参数的方法及系统。

背景技术

近年来，随着技术发展和需求推动，众核处理器越来越成为各种超大规模计算所青睐的处理器系统。海洋模式计算就是其中一种基于众核的超大规模计算应用系统。海洋模式计算就是把采集到的过去的大量的海洋相关的数据作为输入，经过复杂、精密的计算，最终能够根据输入预测未来海洋相关的数据，并能够把这些预测直观的展示出来。普通单核或多核处理器已经无法满足海洋模式中海量计算的需求，众核的应运而生成为像海洋模式计算这类的超大规模计算应用系统发展的巨大推力。众核处理器核数的增加保证了计算和数据处理能力持续提高，然而如何合理分配主从核参数以使这种硬件能力转变成应用性能的大幅度提升，是众核时代面临的严峻挑战之一。研究表明，随着众核处理器核数的增加，当前众核运行时系统的核资源利用效率较低，导致系统的可扩展性较差，应用程序的性能不能与核数成正比增长。用户的需求主要体现在以下三个方面：

(1)由于整个地球生命系统都与海洋息息相关，且与海洋相关的数据量庞大，对实施监测的海洋数据进行高效快速处理无疑成为用户关注的重点。

(2)由于每次用户都需要先自行分配主从核资源参数，然后进行并行计算，庞大的数据量往往会耗费大量时间，然而又无法保证按照这一次的资源参数分配方案就能使得计算结果达到最理想最精确的效果，因此需要不断尝试新的资源参数分配方案进行并行计算。虽然资源参数分配方案有穷尽，但是人力有限，往往无法快速找到一个适合的分配方案，使得计算性能达到最大。

(3)利用一种结合梯度上升算法和模拟退火算法的机器学习模型，将输出结果和准确率以及输出完成耗时，作为综合判别某种主从核资源参数分配方案下的计算性能的依据，并将前一次的输出作为反馈，然后根据反馈自动分配新的参数再进行并行计算，不断循环迭代，直至找出面向海洋模式计算的最优主从核资源参数分配方案并输出，以此来体现出该发明的智能。

众核处理器具有强大的并行处理能力，广泛应用于路由转发、入侵检测、流量监控等数据包处理领域。目前的众核处理器可集成几十甚至几百个核，每个核是一个执行单元，对整个数据包或其中的一个子任务进行处理。现代高性能并行处理系统通常采用超标量流水线结构，数据包处理可以划分成多个并行子任务集，每个子任务集是由众核处理器中的若干个核并行执行，子任务集到核资源集的映射由运行时系统来完成。在数据包处理的多级流水线中，每个子任务根据工作量的不同对核资源有不同的需求量，不合理的子任务调度和核资源分配方案会导致核资源利用率低下，系统整体性能下降。

因此，需要一种能够自动找到该海洋模式计算中最优的资源参数分配方案，来为海洋模式计算提供服务。

发明内容

本发明提出一种用于确定面向海洋模式计算的资源分配参数的方法及系统，以解决如何自动找到该海洋模式计算中最优的资源参数分配方案，来为海洋模式计算提供服务。

为了解决上述问题，根据本发明的一个方面，提供了一种用于确定面向海洋模式计算的资源分配参数的方法，所述方法包括：

步骤1，从输入设备获取已采集的海洋原始数据集；