[发明专利]一种Spark负载访存行为追踪方法及装置

摘要

一种Spark负载访存行为追踪方法，包括：在执行区，在UnsafeShuffleWriter对象的hashcode、第一被访问数据的RDD信息以及ShuffleExternalSorter对象的hashcode之间建立对应关系；获取第一被访问数据的虚拟地址和物理地址的相关信息，并根据UnsafeShuffleWriter对象的hashcode、第一被访问数据的RDD信息以及ShuffleExternalSorter对象的hashcode之间的对应关系，得到第一被访问数据的RDD信息、虚拟地址的相关信息和物理地址的相关信息的对应关系并保存在文件中；在存储区，当对MemoryStore维护的哈希表执行存储或读取操作时，获取存储或读取操作对应的第二被访问数据的RDD信息、虚拟地址的相关信息及物理地址的相关信息，然后将上述三者之间的对应关系保存在文件中。本发明还提供一种Spark负载访存行为追踪装置，可打通Spark、JVM、OS三层，使Spark语义一直延伸到硬件层。

主权项

一种Spark负载访存行为追踪方法，Spark管理的内存包括执行区和存储区，其特征在于，所述方法包括：在所述执行区，当所述Spark启动ShuffleMapTask线程对第一被访问数据进行处理时，在所述ShuffleMapTask线程调用的UnsafeShuffleWriter对象的哈希码值、所述第一被访问数据的RDD信息以及所述UnsafeShuffleWriter调用的ShuffleExternalSorter对象的哈希码值之间建立对应关系；获取所述ShuffleExternalSorter为所述第一被访问数据申请的虚拟地址的相关信息以及所述虚拟地址对应的物理地址的相关信息，并根据所述UnsafeShuffleWriter对象的哈希码值、所述第一被访问数据的RDD信息以及所述ShuffleExternalSorter对象的哈希码值之间的对应关系，得到所述第一被访问数据的RDD信息、虚拟地址的相关信息以及物理地址的相关信息之间的对应关系，并保存在文件中；在所述存储区，当对MemoryStore维护的哈希表执行存储或读取操作时，获取所述存储或读取操作的对象，并根据所述对象得到所述存储或读取操作对应的第二被访问数据的虚拟地址的相关信息以及所述第二被访问数据的虚拟地址对应的物理地址的相关信息，所述哈希表以BlockId为键，以MemoryEntry为值，所述对象包括所述第二被访问数据的BlockId和MemoryEntry；将所述第二被访问数据的RDD信息、虚拟地址的相关信息以及物理地址的相关信息之间的对应关系，保存在所述文件中，所述第二被访问数据的RDD信息包括获取的BlockId。