[发明专利]一种提高计算引擎缓存利用率的系统及方法

权利要求书

1.一种提高计算引擎缓存利用率的系统，其特征在于，该系统包括外部设备、外部设备控制器以及内联计算引擎；

所述外部设备用于将数据发送至内联计算引擎，进入物理缓存；

所述外部设备控制器，用于向所述内联计算引擎发送缓存分配的请求，还用于向所述外部设备发送读取命令；

所述内联计算引擎采用虚拟缓存增加缓存容量，所述内联计算引擎用于接收外部设备输入的数据进行物理缓存，缓存数据从所述物理缓存中输出至运算单元。

2.根据权利要求1所述的提高计算引擎缓存利用率的系统，其特征在于，所述内联计算引擎包括缓存分配模块、缓存容量管理模块以及外部参数监测模块；

所述缓存分配模块用于接收所述外部设备控制器发送的缓存分配请求，基于所述缓存分配请求通过缓存容量管理模块进行缓存分配；

所述缓存容量管理模块内设有虚拟缓存扩展和回收模块，所述虚拟缓存扩展和回收模块内设有虚拟缓存增加所述内联计算引擎的整体缓存容量；

所述外部参数监测模块用于与虚拟缓存扩展和回收模块连接，基于外部参数检测所述内联计算引擎内缓存分配。

3.根据权利要求2所述的提高计算引擎缓存利用率的系统，其特征在于，所述虚拟缓存与物理缓存构成所述内联计算引擎的总缓存大小。

4.根据权利要求3项所述的提高计算引擎缓存利用率的系统，其特征在于，在内联计算引擎中，所述缓存分配模块还用于向所述缓存容量管理模块查询缓存状态，根据查询到的缓存总大小和已使用大小，决定缓存的分配。

5.根据权利要求4所述的提高计算引擎缓存利用率的系统，其特征在于，所述虚拟缓存扩展和回收模块用于记录当前虚拟缓存的大小、评估虚拟缓存的合理大小、并根据这两个数据对虚拟缓存进行扩展和回收操作；

所述虚拟缓存扩展和回收模块还用于通过收集当前IO运行的参数对虚拟缓存的合理大小进行估算。

6.根据权利要求5所述的提高计算引擎缓存利用率的系统，其特征在于，所述IO运行的参数包括当前内存数据的读延时、溢出事件发生的频率。

7.根据权利要求6所述的提高计算引擎缓存利用率的系统，其特征在于，所述内联计算引擎节进行物理缓存大小计算时，物理缓存大小设置为：

物理缓存大小＝(固定延时+内存延时均值)*设计带宽。

8.根据权利要求7所述的提高计算引擎缓存利用率的系统，其特征在于，所述内联计算引擎节进行延时统计，包括以下步骤：

当读取控制模块向内存发送一个读取命令后，所述命令的相关参数将被写入描述符队列；

当内存将待读取的数据返回内存数据缓存模块，从内存数据缓存模块进入运算单元的时刻的时间戳被记录下来，并与读取命令的时间戳相减计算得到延时；

当每一个读取命令的第一个数据被送入运算单元时，描述符队列将所述读取命令的时间戳送入延时估计模块，延时估计模块用该延时对缓存容量进行估计和调整。

9.根据权利要求8所述的提高计算引擎缓存利用率的系统，其特征在于，所述读取控制模块向内存发送一个读取命令，所述命令的相关参数是发出读取命令时的时间戳，还包括该读取命令的数据大小。

10.一种提高计算引擎缓存利用率的方法，基于根据权利要求1-9任一所述的提高计算引擎缓存利用率的系统，其特征在于，该方法包括以下步骤：

基于内联计算引擎接收外部设备数据，采用虚拟缓存增加缓存容量，通过缓存分配模块向缓存容量管理模块查询缓存状态，根据查询到的缓存总大小和已使用大小，决定缓存的分配；

通过虚拟缓存扩展和回收模块记录当前虚拟缓存的大小、评估虚拟缓存的合理大小、并根据这两个数据对虚拟缓存进行扩展和回收操作，通过收集当前IO运行的参数对虚拟缓存的合理大小进行估算。