[发明专利]存储系统中数据处理方法和装置

说明书

本发明实施例涉及存储系统中数据处理方法和装置。该方法包括：根据对象数据的标识，通过哈希算法确定初始pt组；确定该初始pt组中m个对象存储设备OSD的使用热度以及参考值，该参考值为该n个pt组中至少一个pt组对应的k个OSD的使用热度的最小值；当该初始pt组中m个OSD中存在使用热度与该参考值的差值大于或等于预设阈值的OSD时，将n个pt组中综合权重值最小的pt组确定为目标pt组，否则，将该初始pt组确定为目标pt组；将该对象数据存储到该目标pt组对应的m个OSD中。本发明实施例的存储系统中数据处理方法和装置，能够动态调整对象数据写入的磁盘，保证磁盘数据分布均匀。

技术领域

本发明涉及通信领域，尤其涉及存储系统中数据处理方法和装置。

背景技术

新兴的大规模分布式存储系统可以用于将拍字节(petabyte，PB)级的数据分散到成千上万个存储设备中。现有的存储结构是树形的分层拓扑，由虚拟的根节点开始，向下依次为机架、服务器和磁盘，最终将数据存储到磁盘中。而数据排布算法用来解决如何将海量的数据分布到这些存储设备上，并保证分配数据的全局均衡性和局部均衡性。

具体地，数据排布算法可以分为两部分，网络逻辑单元号(Network Logical UnitNumber，NLUN)算法和分区算法。对于NLUN算法，主要针对从对象到NLUN的过程。对于任意一个文件，可以包括若干个对象，每个对象对应一个NLUN，NLUN算法是为每个对象分配NLUN。

在现有技术中，确定对象与NLUN之间的对应关系，一般采用轮询算法或哈希算法。轮询算法是记录每个文件及其对象选中的NLUN的编号，在为每个对象选择NLUN时，将NLUN编号循环后移。而哈希算法是根据文件ID和对象ID，采用哈希算法，例如MD5和mmh3等，计算出NLUN的编号。

但是，轮询算法需要为每个对象记录选择的NLUN，增加了系统开销，尤其对于大量的小文件写入场景，系统开销过大；而哈希算法，由于哈希算法的特性会导致计算选择的NLUN分布不均匀，无法保证写入数据过程的全局或局部的均衡性。另外，轮询算法和哈希算法，要求每个对象数据大小基本一致，没有考虑到不同大小对对象数据存储过程的影响，会导致数据存储过程的不均衡性。并且，不同NLUN可能对应部分相同的磁盘，会导致写入磁盘过程的不均衡性；轮询算法和哈希算法也没有考虑在系统掉电后，磁盘上历史写入过程对数据均衡性的影响。

发明内容

本申请提供了一种存储系统中数据处理方法和装置，能够动态调整对象数据写入的磁盘，保证磁盘数据分布均匀。

第一方面，提供了一种存储系统中数据处理方法，该存储系统包括n个磁盘分区(pt)组，该方法包括：根据对象数据的标识，通过哈希算法确定该对象数据的初始pt组，该初始pt组属于该n个pt组，该n个pt组中每个pt组对应m个对象存储设备，m等于该对象数据的副本数，n和m为正整数；确定该初始pt组中m个对象存储设备中每个对象存储设备的使用热度以及参考值，该参考值为该n个pt组中至少一个pt组对应的k个对象存储设备的使用热度的最小值，k为正整数；当该初始pt组中m个对象存储设备中存在使用热度与该参考值的差值大于或等于预设阈值的对象存储设备时，确定该n个pt组中每个pt组的综合权重值，并将该综合权重值最小的pt组确定为目标pt组，其中，该n个pt组中第i个pt组的所综合权重值为根据该第i个pt组对应的每个对象存储设备的使用热度确定的，i＝1、2、3……n，或，当该初始pt组中m个对象存储设备中每个对象存储设备的使用热度与该参考值的差值小于该预设阈值时，将该初始pt组确定为目标pt组；将该对象数据存储到该目标pt组对应的m个对象存储设备中。