[发明专利]一种分布式数据的处理方法及装置

摘要

本发明提供一种分布式数据的处理方法及装置，该处理方法包括：将原始数据分别写入多个副本分片中，并为不同的副本分片设置标识不同功能的标签；响应不同的操作请求，根据所述副本分片的标签确定与所述不同的操作请求对应的副本分片，其中所述操作请求至少包括分析数据的操作请求和查询数据的操作请求；读取确定的所述副本分片的数据，并对所述数据进行相应的操作。本发明实施例对同一份原始数据利用不同标签的副本分片进行不同业务数据处理，极大的降低了数据存储的冗余度，提高了数据处理的效率；且由于不同的操作请求分别落在不同的副本分片上，对不同的响应时间要求的数据处理的输入/输出可以进行完全的隔离，保证了性能的隔离。

主权项

1.一种分布式数据的处理方法，其特征在于，包括：将原始数据分别写入多个副本分片中，并为不同的副本分片设置标识不同功能的标签，其中，所述多个副本分片至少包括具有分析标签的副本分片、具有查询标签的副本分片以及具有仲裁一致标签的副本分片；响应不同的操作请求，根据所述副本分片的标签确定与所述不同的操作请求对应的副本分片，其中，所述操作请求至少包括分析数据的操作请求和查询数据的操作请求；读取确定的所述副本分片的数据，并对所述数据进行相应的操作；其中，所述为不同的副本分片设置标识不同功能的标签，具体为：通过一转换设备为不同的副本分片设置标识不同功能的标签；其中，所述转换设备用于对所述原始数据进行预设转换；其中，所述原始数据以第一预设格式存储为一基础文件，所述第一预设格式的基础文件用于数据的分析；通过所述转换设备对所述第一预设格式的基础文件进行预设转换得到第二预设格式的转换文件，所述第二预设格式的转换文件用于数据的查询；所述第一预设格式的基础文件包括用于存储数据的数据块、用于存储所述数据块的位置信息和所属副本分片信息的元数据块以及用于存储不同业务处理数据所属的副本分片和所述数据块的定位信息的第一文件信息；所述第二预设格式的转换文件包括与所述基础文件共享的数据块和元数据块、以及对所述基础文件进行预设转换得到的用于存储不同业务处理数据所属的副本分片和所述数据块的定位信息的第二文件信息、用于存储数据块和元数据块的索引数据的索引信息以及用于存储所述预设格式的文件的各要素的偏移量位置信息及索引大小的定位信息。