[发明专利]计算机系统预测机器学习模型

说明书

使用神经网络从存储器预取数据的、包括在计算机存储介质上进行编码的计算机程序的方法、系统和设备。一种示例系统接收计算机程序的在先程序计数器地址和相应增量值的序列。所述系统基于序列来创建输入表示。所述系统将输入表示作为输入提供给循环神经网络。所述系统从循环神经网络接收输出，该输出定义未来增量值的概率分布。分布中的每个概率表示计算机程序的未来指令的执行将导致从特定的未来存储器地址提取数据的可能性。

背景技术

本说明书涉及用于使用神经网络从存储器预取数据的技术。

数据预取器利用硬件和/或软件来预测未来的存储器地址，并基于过去的存储器访问历史从该存储器地址中提取数据。

神经网络是机器学习模型，其采用多层操作来从一个或多个输入预测一个或多个输出。神经网络通常包括位于输入层和输出层之间的一个或多个隐藏层。每一层的输出用作另一层的输入，例如，该另一层可以为下一隐藏层或输出层。

每一层神经网络指定对该层的输入所要执行的一个或多个变换操作。一些神经网络层具有称为神经元的操作。每个神经元接收一个或多个输入，并产生由另一神经网络层接收的输出。通常，每个神经元从其他神经元接收输入，且每个神经元向一个或多个其他神经元提供输出。

神经网络的架构指定了网络中包括哪些层及其属性以及每一层网络的神经元如何连接。换言之，该架构指定了哪些层将其输出作为输入提供给其他哪些层以及如何提供输出。

每层使用该层的一组参数的当前值生成一个或多个输出。因此，训练网络包括连续地对输入进行正向传递，计算梯度值，并且更新每一层的一组参数的当前值。一旦训练好神经网络，可以使用最终的一组参数来在生产系统中进行预测。

发明内容

本说明书涉及用于使用神经网络从存储器预取数据的技术。

一种用于从存储器预取数据的系统接收计算机程序的在先程序计数器地址和相应增量值的序列。每个增量值定义了相应的第一存储器地址和相应的第二存储器地址之间的差。第一存储器地址是当执行相应的程序计数器地址指向的指令时被访问的存储器地址。第二存储器地址是在访问第一存储器地址之前被访问的存储器地址。例如，第二存储器地址可以是之前刚刚被访问的存储器地址，或者可以是通过之前几次或更多次存储器操作而被访问的存储器地址。

然后，系统将程序计数器地址序列转换为输入表示。该系统将输入表示作为输入提供给循环神经网络。在一些实施方式中，输入表示是高维嵌入空间中的数字嵌入序列。在其他实施方式中，输入表示是通过“k均值聚类”操作的一组程序计数器地址和增量值对。

该系统从循环神经网络接收输出，该输出定义未来增量值的概率分布。分布中的每个概率表示计算机程序的未来指令的执行将导致从未来存储器地址提取数据的可能性，该未来存储器地址等于：(i)当执行被序列中最近的程序计数器地址指向的指令时而被访问的相应的第一存储器地址，加上(ii)对应于该概率的未来增量值。

可以在特定实施例中实施本说明书中描述的主题，以便实现一个或多个以下优点。所描述的系统可以通过使用循环神经网络来识别对程序计数器地址和相应增量值的序列长期依赖性，从而更准确地预测将从中提取数据的未来存储器地址。系统可以从其预测的未来存储器地址预取数据，并将该数据存储在本地缓存中。精确的预取减少了计算系统中缓存未命中的数量。因为从本地缓存提取数据比从主存储器提取数据更快，所以在计算系统上执行的计算机程序的运行时间减少。即使当传统的预取方法不能实现显著的改进时，系统仍然可以通过使用如本说明书中所述的循环神经网络识别复杂和无规律的存储器访问模式，并因此减少计算机程序的运行时间。

减少缓存未命中的数量也降低了计算系统的能量消耗，这是因为与从本地缓存提取数据相比，从主存储器提取数据是能量密集型的。