[发明专利]一种针对异构内存与多类型应用混合部署场景的数据放置与迁移方法

摘要

一种针对异构内存与多类型应用混合部署场景的数据放置与迁移方法，由应用静态分析方法、数据静态放置方法和运行时动态迁移机制三部分组成。该方法针对由高带宽内存与双倍速率存储器组成的异构内存系统以及单个延迟攸关应用与多个批处理应用的混合部署场景，从静态数据放置工具和动态迁移运行时系统两种角度设计，利用数据对象之间的依赖关系将应用程序拆分为相应的逻辑数据对象集合；基于两种存储器的不同特性，为不同类型的逻辑数据对象制定不同数据放置策略，同时在应用运行过程中进行动态监控与实时迁移，从而全面、充分地利用异构内存系统的多种内存资源，满足延迟攸关应用与批处理应用各自的性能需求。

主权项

1.一种针对异构内存与多类型应用混合部署场景的数据放置与迁移方法，其特征包括三部分：应用静态分析方法、数据静态放置方法和运行时动态迁移机制：应用静态分析方法：用于实现应用数据对象的提取、分析以及逻辑划分；分析应用程序源代码，提取出所有数据对象；基于各个函数之间通过各种数据对象进行信息传递这一前提，以函数作为评估数据对象之间依赖关系的媒介，以数据对象是否是该函数的输入或输出以及数据量的大小作为二者是否存在依赖关系的依据，生成对应的数据对象流图；基于数据对象流图，量化函数与相关的数据对象之间的依赖度；将依赖紧密的部分数据对象划分为一个逻辑数据对象，作为后续进行数据放置与动态迁移的基本单位；而针对延迟攸关应用以及批处理应用，基于各自在应用输入上的不同特性，设计不同的逻辑数据对象划分机制；应用静态分析方法最终会生成与目标应用程序对应的一个逻辑数据对象集合；数据静态放置方法：用于实现对逻辑数据对象的敏感度分析以及数据对象静态放置策略的生成；以应用静态分析方法提供的逻辑数据对象集合作为输入，定义带宽敏感度以及延迟敏感度，分别代表逻辑数据对象对内存带宽以及内存延迟的敏感程度；对逻辑数据对象集合中的所有逻辑数据对象分别进行带宽敏感度和延迟敏感度分析，得出单个逻辑数据对象的敏感类型，并确定单个逻辑数据对象对应的放置策略；针对高带宽内存(High Bandwidth Memory，HBM)高带宽、高访问延迟以及双倍速率(Double Data Rate，DDR)存储器低带宽、低访问延迟的特性，规定带宽敏感型数据对象优先放置于HBM，延迟敏感型数据对象优先放置于DDR；基于延迟攸关应用与批处理应用的不同性能需求与特性，提供两种不同的敏感度分析策略；待全部逻辑数据对象分析完毕后，基于所有敏感度数据，进行全局分析，生成目标应用最终的数据对象静态放置策略表；运行时动态迁移机制：用于在应用运行过程中，利用硬件性能取样工具提供的数据实时分析应用性能状况，并及时动态地对相关应用的逻辑数据对象进行迁移；在应用部署完成开始运行时，根据数据静态放置方法提供的放置策略表进行数据对象的初始放置；基于硬件性能取样工具提供的关于高速缓存(以下简称cache)的相关数据，分析延迟攸关应用的行为特征并评估其处于空闲(以下简称idle)阶段或者处于活跃(以下简称active)阶段；依据延迟攸关应用所处的阶段，以优先保证延迟攸关应用的服务质量(Quality of Service，QoS)为首要原则，制定相应的数据对象迁移策略；当延迟攸关应用由active阶段转变为idle阶段时，需要根据上一个active阶段延迟攸关应用的性能数据对延迟攸关应用相关数据对象的放置策略进行调整；同时，针对应用间的公平性问题，通过对比数据静态放置方法提供的各个逻辑数据对象的初始放置策略与实际放置位置，评估所有批处理应用中性能受损最严重的应用，对与该应用相关的逻辑数据对象进行动态迁移；而当延迟攸关应用由idle阶段转变为active阶段时，需要根据前一个idle阶段调整的放置策略对延迟攸关应用的逻辑数据对象进行动态迁移。