[发明专利]一种数据处理方法及系统

说明书

本发明实施例提供了一种数据处理方法及系统。一方面，本发明实施例通过根据输入的键值，从第一数据库中获得对应的标识ID和元信息；其中，所述第一数据库用于存储候选时间序列数据的元信息和ID；从而，根据所述元信息，确定目标逻辑表；进而，根据所述ID和所述目标逻辑表，在所述目标逻辑表对应的候选物理表中确定目标物理表，以及对所述目标物理表执行写数据操作或者执行目标时间序列数据的读数据操作。因此，本发明实施例提供的技术方案能够实现提高数据库的存储性能，以及提高数据的读/写操作速度。

【技术领域】

本发明涉及计算机技术领域，尤其涉及一种数据处理方法及系统。

【背景技术】

内容分发网络(Content Delivery Network，CDN)平台需要使用数据存储系统，该数据存储系统为CDN平台的业务运营、服务质量等数据挖掘，提供了大量的基础原始数据。目前，数据存储系统用于存储大规模的时间序列数据，如采集的监控数据或者采集的日志数据等。

现有技术中，所述数据存储系统利用开源时序数据库(Open TimestampDatabase，OpenTSDB)实现。OpenTSDB是基于Hadoop平台实现的，能够提供数据的读/写服务和图形展示服务。

然而，Hadoop平台是一种复杂的分布式系统基础架构，基于Hadoop平台实现的OpenTSDB中数据的存储格式和索引结构，都导致OpenTSDB的存储空间有限，以及数据的读/写操作速度比较慢。

【发明内容】

有鉴于此，本发明实施例提供了一种数据处理方法及系统，可以实现提高数据库的存储性能，以及提高数据的读/写操作速度。

本发明实施例的一方面，提供一种数据处理方法，包括：

根据输入的键值，从第一数据库中获得对应的标识ID和元信息；其中，所述第一数据库用于存储候选时间序列数据的元信息和ID；

根据所述元信息，确定目标逻辑表；

根据所述ID和所述目标逻辑表，在所述目标逻辑表对应的候选物理表中确定目标物理表，以及对所述目标物理表执行写数据操作或者执行目标时间序列数据的读数据操作。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述第一数据库的数目为一个；和/或，

利用第二数据库存储所述候选物理表，以及，至少两个所述第二数据库组成一个存储集群，属于同一存储集群的至少两个所述第二数据库中存储的候选物理表相同；和/或，

所述存储集群的数目为至少两个。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述元信息包括所述目标时间序列数据的类别和时间戳；所述根据所述元信息，确定目标逻辑表，包括：

根据所述目标时间序列数据的类别，确定至少两个候选逻辑表；

根据所述时间戳，在所述至少两个候选逻辑表中确定一个所述目标逻辑表。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述根据所述元信息，确定目标逻辑表之前，所述方法还包括：

根据ID对候选时间序列数据进行分割，将具有相同ID的候选时间序列数据存储在同一个候选物理表；以及，

根据所述候选时间序列数据的类别和所述候选物理表，生成至少一个初始逻辑表，以及，根据时间信息对每个所述初始逻辑表进行分割，以获得至少两个所述候选逻辑表。

如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述对所述目标物理表执行目标时间序列数据的读数据操作，包括：

利用所述ID，在所述目标物理表中进行查找，以获得所述ID对应的候选时间序列数据；