[发明专利]一种基于混合内存的数据处理方法及装置

说明书

本申请提供一种基于混合内存的数据处理方法及装置。该方法应用于分布式存储系统中的一个节点，分布式存储系统包括多个互相通信连接的节点，每个节点包括HFDD和外存储器，HFDD包括内存和固态硬盘SSD，内存包括随机存储器RAM和NVDIMM，所述方法包括：计算各数据的热度，其中，热度表示对应数据被访问的频繁程度；根据各数据的热度，以及内存、SSD和外存储器分别对应的存储容量将各数据进行存储。本申请实施例中，HFDD是基于RAM+NVM混合内存的容错分布式数据抽象，并且根据数据的热度对数据进行存储，一方面提高了内存的存储容量，另一方面，提高了数据访问的效率。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种基于混合内存的数据处理方法及装置。

背景技术

目前大数据计算技术已经可以处理PB级数据，内存计算的概念的出现有其必然原因，在内存计算模式下，所有的数据在初始化阶段全部加载到内存中，数据及查询的操作都在高速内存中执行，CPU直接从内存读取数据，进行实时地计算和分析，减少了磁盘数据访问，降低了网络与磁盘I/O的影响，大幅提升了计算处理的数据吞吐量与处理的速度，减少了原本占大量计算资源的I/O开销。通过内存计算的应用，避免了I/O瓶颈，以前在数小时、数天时间内计算的结果，在内存计算环境中，可以在数秒内完成。

目前主要的内存计算技术有基于单节点的内存计算。单节点内存计算系统运行于单个物理节点上，节点拥有一个或多个处理器以及共享内存，内存结构可以是集中式共享内存，或者非一致性共享内存。单节点上的内存计算利用多核CPU，采用大内存和多线程并行，以充分发挥单机的计算效能。但是对于单节点的内存计算来说，由于受硬件资源限制在内存不足时，会影响对数据的处理效率。

发明内容

本申请实施例的目的在于提供一种基于混合内存的数据处理方法及装置，用以解决现有技术中数据处理效率低的问题。

第一方面，本申请实施例提供一种基于混合内存的数据处理方法，应用于分布式存储系统中的一个节点，所述分布式存储系统包括多个互相通信连接的节点，每个节点包括混合内存和容错分布式数据集HFDD和外存储器，所述HFDD包括内存和固态硬盘SSD，所述内存包括随机存储器RAM和非易失性双列直插式内存模块NVDIMM，所述方法包括：计算各数据的热度，其中，所述热度表示对应数据被访问的频繁程度；根据各数据的热度，以及内存、SSD和外存储器分别对应的存储容量将各数据进行存储。

本申请实施例中，HFDD是基于RAM+NVM混合内存的容错分布式数据抽象，并且根据数据的热度对数据进行存储，一方面提高了内存的存储容量，另一方面，提高了数据访问的效率。

进一步地，所述根据各数据的热度，以及内存、SSD和外存储器分别对应的存储容量将各数据进行存储，包括：根据所述内存中RAM的存储容量从热度最高的数据开始，将小于或等于所述RAM的存储容量的数据存入所述RAM中；根据所述SSD的存储容量，从剩余数据中热度最高的数据开始，将小于或等于存储容量的数据存入所述SSD中；将剩余的数据存储在所述外存储器中。本申请实施例通过数据的热度以及内存、SSD和外存储器的容量对数据进行分配存储，在提高了内存容量的基础上，保证了节点对数据访问的效率。

进一步地，所述方法还包括：接收访问请求，若所述RAM的存储容量已满，且待访问数据存储在所述SSD中，则根据所述待访问数据所需的内存大小从所述RAM中取出易失存储数据，并将所述待访问数据存储所述RAM中。本申请实施例通过RAM与SSD之间的数据换入换出技术，实现在高容量混合内存前提下的性能保证。

进一步地，所述方法还包括：若节点异常掉电，则将异常掉电之前，所述节点对应的工作状态数据从NVDIMM中保存至外存储器中；当所述节点的状态由故障恢复正常后，从所述外存储器中将所述工作状态再次写入所述NVDIMM中，并根据所述工作状态数据继续运行。本申请实施例通过使用NVDIMM可以保证系统以外断电后的数据可靠性。