[发明专利]一种分布式数据的处理方法及装置

权利要求书

1.一种分布式数据的处理方法，其特征在于，包括：

将原始数据分别写入多个副本分片中，并为不同的副本分片设置标识不同功能的标签，其中，所述多个副本分片至少包括具有分析标签的副本分片、具有查询标签的副本分片以及具有仲裁一致标签的副本分片；

响应不同的操作请求，根据所述副本分片的标签确定与所述不同的操作请求对应的副本分片，其中，所述操作请求至少包括分析数据的操作请求和查询数据的操作请求；

读取确定的所述副本分片的数据，并对所述数据进行相应的操作；

其中，所述为不同的副本分片设置标识不同功能的标签，具体为：

通过一转换设备为不同的副本分片设置标识不同功能的标签；其中，所述转换设备用于对所述原始数据进行预设转换；

其中，所述原始数据以第一预设格式存储为一基础文件，所述第一预设格式的基础文件用于数据的分析；

通过所述转换设备对所述第一预设格式的基础文件进行预设转换得到第二预设格式的转换文件，所述第二预设格式的转换文件用于数据的查询；

所述第一预设格式的基础文件包括用于存储数据的数据块、用于存储所述数据块的位置信息和所属副本分片信息的元数据块以及用于存储不同业务处理数据所属的副本分片和所述数据块的定位信息的第一文件信息；

所述第二预设格式的转换文件包括与所述基础文件共享的数据块和元数据块、以及对所述基础文件进行预设转换得到的用于存储不同业务处理数据所属的副本分片和所述数据块的定位信息的第二文件信息、用于存储数据块和元数据块的索引数据的索引信息以及用于存储所述预设格式的文件的各要素的偏移量位置信息及索引大小的定位信息。

2.根据权利要求1所述的分布式数据的处理方法，其特征在于，所述多个副本分片为至少3个副本分片；其中，

具有所述查询标签的副本分片用于数据的查询，具有所述分析标签的副本分片用于数据的分析，具有所述仲裁一致标签的副本分片用于保证多个副本分片数据的一致性。

3.根据权利要求1所述的分布式数据的处理方法，其特征在于，所述响应不同的操作请求，根据所述副本分片的标签确定与所述不同的操作请求对应的不同的副本分片，具体为：

响应分析数据的操作请求，解析所述第一预设格式的基础文件的第一文件信息定位所述分析数据的操作请求对应的具有分析标签的副本分片。

4.根据权利要求1或3所述的分布式数据的处理方法，其特征在于，所述响应不同的操作请求，根据所述副本分片的标签确定与所述不同的操作请求对应的不同的副本分片，具体为：

响应查询数据的操作请求，解析所述第二预设格式的转换文件的第二文件信息定位所述查询数据的操作请求对应的具有查询标签的副本分片；其中，所述第二预设格式的转换文件能够被预设交易查询服务系统辨识。

5.根据权利要求1所述的分布式数据的处理方法，其特征在于，所述方法还包括：

响应交易写入的请求，通过所述转换设备将所述交易写入的写入数据转换成能够被预设交易查询服务系统辨识的第二预设格式的写入文件；

解析所述写入文件，为所述写入文件设置查询标签；

将具有查询标签的写入文件写入具有所述查询标签的副本分片中，得到具有查询标签的新的副本分片；

将具有所述查询标签的所述新的副本分片中的数据同步到具有仲裁一致标签的副本分片中，完成写入。

6.根据权利要求5所述的分布式数据的处理方法，其特征在于，完成写入后所述方法还包括：

将具有所述仲裁一致标签的副本分片的数据同步到具有分析标签的副本分片中。

7.根据权利要求5所述的分布式数据的处理方法，其特征在于，将具有查询标签的写入文件写入具有所述查询标签的副本分片中，得到具有查询标签的新的副本分片，具体包括：

根据所述写入文件的查询标签，确定具有所述查询标签的副本分片；

将所述写入文件的内容写入具有所述查询标签的副本分片的元数据块中，得到具有所述查询标签的副本分片的新的元数据块；

根据所述新的元数据块的信息，重新组织具有所述查询标签的副本分片的数据块，构成具有查询标签的新的副本分片。