[发明专利]一种针对异构存储系统的自适应数据动态调度方法和系统

说明书

本发明公开了一种针对异构存储系统的自适应数据动态调度方法和系统，该系统包括异构存储系统、存储管理器、数据调度器、参数调节器和性能采集器；异构存储系统包括高带宽存储器和传统内存；存储管理器分别与数据调度器、参数调节器和性能采集器连接，存储管理器用于启动数据调度器、参数调节器和性能采集器，并向其发送控制指令和数据，控制其工作。本发明能够结合高带宽存储器的硬件特性，合理调度数据，周期性地启动参数调节器，根据性能指标对异构存储系统中的数据放置进行优化，从而同时发挥高带宽存储器高带宽和传统内存低延迟的优势，提高应用带宽，缩短大数据应用程序的运行时间。

技术领域

本发明涉及数据异构存储技术领域，特别是涉及一种针对异构存储系统的自适应数据动态调度方法和系统。

背景技术

大数据产业的快速发展使得大数据应用程序的数据量和计算复杂度都有了明显提升，如何让大数据程序充分地利用高性能集群多核高并发的特性是当前的研究热点。系统带宽是提升性能最重要的因素，因此，需要让由高带宽存储器和传统内存构成的异构存储系统为上层应用提供更高的带宽。

目前已有的方法主要集中在利用经典缓存淘汰策略及其改进策略从上层存储中淘汰冷数据。现有的异构存储系统的数据调度主要采用以下几种策略：

最近最少使用策略

这种策略强调数据访问的时间局部性，认为最近访问过的数据再次被访问的概率比较大。这种策略有很大的弊端，在时间局部性不强的数据访问模式下高带宽存储器存储的击中率很低，在数据总量大于高带宽存储器存储的循环访问模式下，击中率下降至零，即不能为上层应用提供带宽增益；

自适应替换策略

相比传统的缓存淘汰策略，这种策略能够自适应地调整最近访问存储区和高频次访问存储区的大小，使其适应数据访问模式的变化。但这种策略有一个弊端，其对数据访问模式的适应是渐进的，具有一定的滞后性。但是，在实际生产中，数据访问模式的变化是频繁且随机的，因此自适应替换策略并不能最优化带宽性能。

存储层次感知任务调度策略

这种策略是为不同权值的任务分配不同的存储层，任务优先在分配的存储层中读写数据。这种策略有明显的弊端，首先，需要在计算层加入下层存储标签，难以得到广泛应用；另外，这种策略对数据块本身缺乏关注，同一个任务的对不同数据的访问热度存在区别，根据任务分配存储对高带宽存储器的利用率不高。

综上可以看出，现有的针对异构存储系统的数据调度方法存在不能充分发挥高带宽存储器在高并发和顺序访问下的带宽优势、不能快速适应数据访问模式的变化、对高带宽存储器利用率不高等不足，本领域亟需一种自适应地动态数据调度方法，从而充分发挥异构存储系统高带宽和低延迟的体系结构优势，提高大数据应用的执行性能。

发明内容

本发明的目的是提供一种针对异构存储系统的自适应数据动态调度方法和系统以克服现有的针对异构存储系统的数据调度方法存在不能充分发挥高带宽存储器在高并发和顺序访问下的带宽优势、不能快速适应数据访问模式的变化、对高带宽存储器利用率不高等不足。

为实现上述目的，本发明提供了一种针对异构存储系统的自适应数据动态调度系统，所述系统包括异构存储系统、存储管理器、数据调度器、参数调节器和性能采集器；

所述异构存储系统包括高带宽存储器和传统内存，所述异构存储器用于管理访问数据，并根据所述访问数据确定数据块访问信息，将所述数据块访问信息发送至所述存储管理器；所述数据块访问信息包括被访问的数据块编号、数据块字节数、时间戳信息和访问时间；