[发明专利]读、部分写数据方法以及相关装置

说明书

一种部分写数据方法，包括：缓存控制器(20，30，40，150，160)接收部分写请求(S61)；所述部分写请求携带的数据的大小小于缓存行(211，212，213，311，312，313，411，412，413)可缓存数据的大小；将部分写请求携带的数据写入请求地址在缓存行(211，212，213，311，312，313，411，412，413)中对应的位置，更新缓存行(211，212，213，311，312，313，411，412，413)的写掩码(S65)，以及更新缓存行(211，212，213，311，312，313，411，412，413)的状态(S69，S145)。一种读数据方法，以及相关装置。通过在缓存行(211，212，213，311，312，313，411，412，413)的状态中增加部分写状态，以及通过写掩码来表示该缓存行(211，212，213，311，312，313，411，412，413)中已被写入的数据的位置，使得缓存控制器(20，30，40，150，160)在部分写或读数据过程中，减少内存与高速缓冲存储器(172)的数据交换，提高高速缓冲存储器(172)的数据处理效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种读、部分写数据方法以及相关装置。

背景技术

目前，计算机等终端设备在数据处理过程，以基于弹性分布式数据集(resilientdistributed dataset，RDD)的分布式大数据处理框架(Spark)应用为例，在处理器运行过程中，数据大多以RDD的形式存在于内存中，针对RDD的操作主要是变换和运算。

数据转换操作需要从主存将数据读入到高速缓冲存储器(Cache)中，经过处理器变换后再写入到Cache或者主存中。通常，RDD的变换操作会产生新的RDD，RDD变换过程中需要将数据从主存中读入Cache，变换后的数据因为容量的原因最终会被替换写入到主存中，当处理器将变换后的数据从寄存器写入到Cache中，可能性会发生未命中(Cache Miss)，当Cache Miss发生时，需要从主存(或者下一级Cache中)去读取数据到Cache中。

因而，在大数据场景下，处理数据量远大于Cache容量，需要频繁的Cache之间、Cache与主存之间的数据交换。变换后的数据并不会很快用到，将主存(或下一级Cache)中读取到Cache中的数据，并不会被用到，较长时间占用Cache，使得实际Cache利用率降低。

发明内容

本发明实施例提供了一种读、部分写数据方法以及相关装置，可以减少在部分写数据过程中内存与Cache的数据交换频率，提高Cache的数据处理效率。

第一方面，本发明实施例提供了一种部分写数据方法，包括：

缓存控制器接收部分写请求，该部分写请求携带的数据的大小小于缓存行可缓存数据的大小，将部分写请求携带的数据写入请求地址在缓存行中对应的位置，更新缓存行的写掩码，以及更新缓存行的状态。其中，缓存行的状态包括部分写状态；部分写状态用于指示所述缓存行的数据部分有效；写掩码用于指示缓存行中已被写入的数据的位置。

可以理解，该部分写数据方法的执行主体还可以是包括该缓存控制器的Cache、包括上述Cache的处理器、包括上述处理器的电子终端等。

本发明实施例中，缓存的数据状态包括部分写状态，并通过写掩码来标志已被写入的数据的位置，在部分写数据过程中，将部分写请求携带的数据写入请求地址在缓存行中对应的位置，不需要从内存中读入中的数据，也不需要在部分写完成后将数据更新到内存，进而减少在部分写数据过程中内存与Cache的数据交换频率，提高Cache的数据处理效率。

本发明一实施例中，缓存控制器将部分写请求携带的数据写入请求地址在所述缓存行中对应的位置的实施方式可以是：

在部分写请求发生缓存命中时，将部分写请求携带的数据写入请求地址在命中的缓存行中对应的位置；或，