[发明专利]一种数据读取方法及系统

权利要求书

1.一种数据读取方法，其特征在于，所述方法包括：

利用分布式数据传输通道采集至少一个客户端存储的数据；

将所述数据存储到分布式文件管理单元，所述分布式文件管理单元基于分布式数据库集群；

在接收到读取指令时，读取所述分布式文件管理单元中存储的与所述读取指令对应的第一数据。

2.根据权利要求1所述的方法，其特征在于，所述分布式数据传输通道包括至少一个数据传输链路，所述利用分布式数据传输通道采集至少一个客户端存储的数据，具体包括：

根据预设规则在所述分布式数据传输通道中确定至少一个第一数据传输链路；

利用所述至少一个第一数据传输链路采集对应的客户端存储的数据，所述第一数据传输链路与所述客户端一一对应。

3.根据权利要求1所述的方法，其特征在于，所述分布式数据库集群包括N个数据库节点，所述N大于等于二，所述将所述数据存储到分布式文件管理单元中，具体包括：

根据所述分布式数据库集群的数据库节点个数N将所述数据进行分片处理，获得N个分片数据和与所述分片数据一一对应的N个数据标识；

根据所述N个数据标识将所述N个分片数据存储到对应的所述N个数据库节点，所述N个数据标识与所述N个数据库节点一一对应。

4.根据权利要求3所述的方法，其特征在于，所述在接收到读取指令时，读取所述分布式文件管理单元中存储的与所述读取指令对应的第一数据，具体包括：

在接收到读取指令时，对所述读取指令进行解析获得N个所述数据标识；

根据N个所述数据标识分别从N个数据库节点中读取N个分片数据；

根据N个所述数据标识将所述N个分片数据进行合并处理，获得第一数据。

5.根据权利要求1所述的方法，其特征在于，所述分布式文件管理单元包括Hadoop分布式文件管理单元HDFS，所述分布式数据库集群包括Redis集群。

6.一种数据读取系统，其特征在于，包括：分布式采集装置、分布式文件管理单元和数据读取装置，其中：

所述分布式采集装置，用于利用分布式数据传输通道采集至少一个客户端存储的数据；

所述分布式文件管理单元，用于存储所述分布式采集装置采集的数据，所述分布式文件管理单元基于分布式数据库集群；

所述数据读取装置，用于在接收到读取指令时，读取所述分布式文件管理单元中存储的与所述读取指令对应的第一数据。

7.根据权利要求6所述的数据读取系统，其特征在于，分布式采集装置，具体用于：

根据预设规则在分布式数据传输通道中确定至少一个第一数据传输链路；利用至少一个第一数据传输链路采集对应的客户端存储的数据，第一数据传输链路与客户端一一对应。

8.根据权利要求6所述的数据读取系统，其特征在于，所述分布式数据库集群包括N个数据库节点，所述N大于等于二，所述分布式文件管理单元，具体用于：

根据所述分布式数据库集群的数据库节点个数N将所述数据进行分片处理，获得N个分片数据和与所述分片数据一一对应的N个数据标识；根据所述N个数据标识将所述N个分片数据存储到对应的所述N个数据库节点，所述N个数据标识与所述N个数据库节点一一对应。

9.根据权利要求8所述的数据读取系统，其特征在于，数据读取装置具体用于：

在接收到读取指令时，对所述读取指令进行解析获得N个所述数据标识；根据N个所述数据标识分别从N个数据库节点中读取N个分片数据；根据N个所述数据标识将所述N个分片数据进行合并处理，获得第一数据。

10.根据权利要求6所述的数据读取系统，其特征在于，所述分布式文件管理单元包括Hadoop分布式文件管理单元HDFS，所述分布式数据库集群包括Redis集群。