[发明专利]一种Spark负载访存行为追踪方法及装置

权利要求书

1.一种Spark负载访存行为追踪方法，Spark管理的内存包括执行区和存储区，其特征在于，所述方法包括：

在所述执行区，当所述Spark启动ShuffleMapTask线程对第一被访问数据进行处理时，在所述ShuffleMapTask线程调用的UnsafeShuffleWriter对象的哈希码值、所述第一被访问数据的RDD信息以及所述UnsafeShuffleWriter调用的ShuffleExternalSorter对象的哈希码值之间建立对应关系；

获取所述ShuffleExternalSorter为所述第一被访问数据申请的虚拟地址的相关信息以及所述虚拟地址对应的物理地址的相关信息，并根据所述UnsafeShuffleWriter对象的哈希码值、所述第一被访问数据的RDD信息以及所述ShuffleExternalSorter对象的哈希码值之间的对应关系，得到所述第一被访问数据的RDD信息、虚拟地址的相关信息以及物理地址的相关信息之间的对应关系，并保存在文件中；

在所述存储区，当对MemoryStore维护的哈希表执行存储或读取操作时，获取所述存储或读取操作的对象，并根据所述对象得到所述存储或读取操作对应的第二被访问数据的虚拟地址的相关信息以及所述第二被访问数据的虚拟地址对应的物理地址的相关信息，所述哈希表以BlockId为键，以MemoryEntry为值，所述对象包括所述第二被访问数据的BlockId和MemoryEntry；

将所述第二被访问数据的RDD信息、虚拟地址的相关信息以及物理地址的相关信息之间的对应关系，保存在所述文件中，所述第二被访问数据的RDD信息包括获取的BlockId。

2.如权利要求1所述的方法，其特征在于，所述在所述ShuffleMapTask线程调用的UnsafeShuffleWriter对象的哈希码值、所述第一被访问数据的RDD信息以及所述UnsafeShuffleWriter调用的ShuffleExternalSorter对象的哈希码值之间建立对应关系，具体包括：

获取所述ShuffleMapTask线程调用的UnsafeShuffleWriter对象的哈希码值和所述第一被访问数据的RDD信息，将所述UnsafeShuffleWriter对象的哈希码值和所述第一被访问数据的RDD信息写入第一哈希表，所述第一哈希表以所述UnsafeShuffleWriter对象的哈希码值为键，以所述第一被访问数据的RDD信息为值；

获取所述UnsafeShuffleWriter对象的哈希码值和所述UnsafeShuffleWriter调用的ShuffleExternalSorter对象的哈希码值，将所述UnsafeShuffleWriter对象的哈希码值和所述ShuffleExternalSorter对象的哈希码值写入第二哈希表，所述第二哈希表以所述ShuffleExternalSorter对象的哈希码值为键，以所述UnsafeShuffleWriter对象的哈希码值为值。