[发明专利]一种NUMA平台中非核部件数据流缓冲管理的优化方法及系统

说明书

技术领域

本发明属于计算机技术领域，尤其涉及一种NUMA平台中非核部件数据流缓冲管理的优化方法及系统。

背景技术

NUMA(Non-Uniform Memory Access，非均匀内存访问)架构已经出现了快30年，目前已经被广大厂商采用，并且成为了商用服务器的主流架构。在NUMA架构中虽然所有的处理器共享内存空间，但是本地节点访问本地内存的延迟时间要少于访问远程内存，所以传统的研究方向主要集中在应用程序的线程绑定和数据映射问题上，或是通过启发式搜索的方法、或是机器学习的方法，来减少远程访问，通过最大化本地访问的方法来提高程序的性能。但是，随着硬件结构的不断进步与发展，在NUMA平台上又出现了许多新的研究问题。

在研究时，选取了Intel Westmere NUMA平台，对其Uncore(非核部件)子系统的结构和数据流进行了详细的分析，并使用了NPB(NAS Parallel Benchmark，美国国家科学院并行基准测试程序)和STREAM两种不同的基准测试程序和一系列不同的软件配置，测试了非核部件子系统中GQ(Global Queue，全局队列)和QHL(QuickPath Home Logic，快速通道宿主逻辑)部件的数据流。我们发现GQ和QHL部件中的数据流存在严重的不均衡和拥塞问题，在很多时候，GQ和QHL中的某一条队列因为请求压力大而溢出，但是此时其它队列请求压力小，还有空闲的Entries(缓冲项)未被使用，这样Entries的利用率比较低，而且会造成队列停顿等待的情况出现。

发明内容

本发明所要解决的技术问题在于提供一种NUMA平台中非核部件数据流缓冲管理的优化方法及系统，旨在解决NUMA平台下数据流缓冲项的利用率低的问题。

本发明是这样实现的，一种NUMA平台中非核部件数据流缓冲管理的优化方法，包括以下步骤：

步骤A、建立NUMA平台下的处理器非核部件数据流缓冲部件中缓冲项的资源池；所述缓冲部件用于暂存处理器非核部件中等待处理的数据流中的数据请求或应答，所述资源池用于对缓冲部件中的不同数据流队列的缓冲项进行动态管理；

步骤B、提取处理器非核部件不同数据流的负载特征；

步骤C、资源池的缓冲项根据所述步骤B中的负载特征采用动态管理的策略进行动态分配，并在所述缓冲项使用结束后进行回收。

进一步地，步骤B中所述负载特征提取包含数据到达的数据类型、到达时间间隔和处理所需的时间，所述数据类型、到达时间间隔和处理所需的时间表征不同数据流队列中数据流负载压力的特征。

进一步地，所述步骤C中动态管理的策略为：缓冲项的分配根据所述负载特征的参数，并按照数据流请求的达到密度的变化而调整，请求密集程度高的数据流将获得较多的缓冲项，请求密集程度小的数据流将获得较少的缓冲项资源。

进一步地，所述缓冲项动态管理的分配采用全部参与动态分配和部分固定部分动态分配这两种方法相结合的方式。

进一步地，所述动态管理的策略分配缓冲项的组织方法为做标签分类方法，所述做标签分类方法具体包括以下步骤：

步骤C101、当相应的非核部件接收到数据请求或答复时，从所述资源池中取出一个缓冲项对数据请求或答复进行缓冲，同时将相应的缓冲项进行标记或归类，其中来自同一数据流队列的缓冲项所做的标记或归类相同；

步骤C102、将相同标记或归类的缓冲项进行排队，等待接受处理；

步骤C103、数据请求或答复处理结束后，清除缓冲项上所做的标记，并将清除标记后的缓冲项重新放入所述资源池中，以便下一次动态分配。

本发明还提供一种NUMA平台中非核部件数据流缓冲管理的优化系统，包括资源池建立模块、数据流队列负载特征提取模块和资源池缓冲项动态分配和回收模块；

所述资源池建立模块用于建立NUMA平台下的处理器非核部件数据流缓冲部件中缓冲项的资源池；所述缓冲部件用于暂存处理器非核部件中等待处理的数据流中的数据请求或应答，所述资源池用于对缓冲部件中的不同数据流队列的缓冲项进行动态管理；

所述数据流队列负载特征提取模块用于提取处理器非核部件数据流队列的负载特征；

所述资源池缓冲项动态分配和回收模块中资源池的缓冲项根据负载特征采用动态管理的策略进行动态分配，并在所述缓冲项使用结束后进行回收。