[发明专利]用于调节针对协处理器的存储器利用率的系统和方法

说明书

本发明提供了用于调节针对协处理器的存储器利用率的系统和方法。在一个实施方案中，一种计算系统包括：处理器；计算处理器，该计算处理器被配置为执行一个或多个内核；存储器，该存储器耦接到该处理器和该计算处理器。该系统被配置为：将至少一个任务存储器事务配额分配到在该处理器的第一核心上执行的至少第一组任务；分配用于在该计算处理器上执行该内核的至少一个计算处理器存储器事务配额；在第一定时窗口迭代内执行该第一组任务和该内核，其中在该第一定时窗口迭代期间执行该内核，直到该计算存储器事务配额被耗尽；以及当该第一组任务在该处理器上执行时，调节该一个或多个内核对该存储器的存储器事务访问的速率。

关于联邦赞助研究或开发的声明

本发明是在政府的支持下根据清洁天空2联合执行体所授予的第945535号合同完成的。政府拥有本发明的某些权利。产生该申请的项目已根据拨款协议第945535号从欧盟地平线2020研究和创新计划下的清洁天空2联合执行体获得资金。

背景技术

诸如用于航空电子应用的安全关键计算系统通常采用与实时操作系统(RTOS)一起使用的空间和时间分区方案。ARINC 653(航空电子应用标准软件接口)是一个此类示例。在ARINC 653系统中，分区由优先级抢占式调度器调度以在周期性窗口(通常称为“时间切片”或仅称为“切片”)中执行。在这些时间切片内，执行一个或多个进程(通常称为“任务”)。任务可以是周期性的或非周期性的。在每个调度点，操作系统确定准备运行的最高优先级任务，并对其进行调度。一旦任务开始，它就可以持续运行，直到其完成其进程，被更高优先级任务抢占，或者直到分区的时间切片超时。

利用人工智能(AI)的系统部件也正以AI协处理器推理引擎的形式与这些安全关键计算系统一起部署或集成到这些系统中，其中在AI协处理器上执行的内核共享任务所使用的存储器资源。用这些内核执行的深度神经网络(DNN)涉及产生非常高的存储器吞吐量以便加载和存储信息(诸如输入数据、DNN权重和其他数据)的大量矩阵运算。在此类计算系统上，AI协处理器因此显著利用共享的DDR存储器总线，并且因此可能延缓来自主处理器所执行的应用程序的并行存储操作，从而引入导致最坏情况执行时间(WCET)增加的延迟。因此，内核可以由执行高度计算密集型矩阵运算(诸如在DNN推理中使用的那些)的内核构成，并且/或者包括非密集型计算运算，诸如逐点数学运算符。

出于上述原因以及对于本领域技术人员在阅读和理解说明书后将变得显而易见的下述其他原因，本领域需要用于调节针对人工智能协处理器的存储器利用率的系统和方法。

发明内容

本公开的实施方案提供了用于调节针对协处理器的存储器利用率的方法和系统，并且将通过阅读和研究以下说明书来理解。

在一个实施方案中，一种计算系统包括：处理器，该处理器包括至少一个核心；计算处理器，该计算处理器被配置为执行一个或多个内核；存储器，该存储器耦接到处理器和计算处理器；其中计算系统被配置为：将至少一个任务存储器事务配额分配到在处理器的第一核心上执行的至少第一组任务；分配用于在计算处理器上执行一个或多个内核的至少一个计算处理器存储器事务配额；在第一定时窗口迭代内执行第一组任务和一个或多个内核，其中在第一定时窗口迭代期间执行该一个或多个内核，直到用于在计算处理器上执行一个或多个内核的至少一个计算存储器事务配额被耗尽；以及当第一组任务在处理器上执行时，调节一个或多个内核对存储器的存储器事务访问的速率。

附图说明

当考虑到优选实施方案的描述和以下附图时，本公开的实施方案可以更容易理解，并且其进一步的优点和用途更加显而易见，在附图中：

图1是实现存储器事务配额和AI协处理器速率限制的示例性计算系统实施方案的图。

图2示出了其中进程在定时窗口迭代期间执行并基于存储器事务配额进行管理的实施方案的示例性时间线。

图3是示出用于在包括共享公共存储器的处理器和计算处理器的系统中管理AI推理引擎存储器利用率的方法的流程图。