[发明专利]数据处理方法及装置

说明书

本申请公开了一种数据处理方法及装置，涉及大数据技术领域，其具体实现方案为：在数据库中设立两个不同的存储设备，分别用于存储数据和存储信息，并且还将其所存储的所有存储信息按照数据的地理位置、生成时间等特征进行分类，将不同类数据特征数据对应的存储信息存入不用的存储空间之中，使得后续在查询数据时，直接能够根据数据特征从对应的存储空间之中查找数据的存储信息，本申请实施例能够在设备查询数据时，具有较高的处理速度和处理效率。

技术领域

本申请涉及计算机技术中的大数据技术领域，尤其涉及一种数据处理方法及装置。

背景技术

目前，随着大数据时代的来临，数据库供应商所需要提供的数据服务越来越丰富，所需要存储、查询的数据也越来越多，不同规模大小的用户都为数据库及其相关产品的性能提出了更高的要求。例如，一些常见的搜索引擎、购物网站等企业通常具有千亿乃至万亿数量级的数据需要写入和查询的处理需求。

现有技术中，为了对数据库中的大量数据进行管理，可以通过为数据库中的数据建立索引(index)的方式，将数据库中存储的每一条数据的存储信息进行记录；则当需要查询数据库中的数据时，根据数据的索引查询到数据，而不需要遍历所有数据，从而达到提高数据处理效率的目的。

采用现有技术，所有数据的索引都记录在数据表中，一旦数据量过大，相应的数据表中的索引数量也很大，仅仅是在数据表中搜索数据的索引就耗时数秒，从而降低了数据库对数据处理的速度和处理效率。

发明内容

本申请第一方面提供一种数据处理方法，包括：获取对第一数据的查询请求；确定所述第一数据的数据特征；从第一设备中与所述第一数据的数据特征对应的第一存储空间内，查询所述第一数据的存储信息；其中，所述第一设备中包括多个存储空间，每个所述存储空间用于存储具有一种数据特征的数据的存储信息，所述第一数据的存储信息用于指示存储所述第一数据的第二设备；根据所述第一数据的存储信息，从所述第二设备中获取所述第一数据。

综上，在本实施例提供的数据处理方法中，针对数据的查询过程，当数据库接收到对第一数据的查询请求后，直接能够根据数据特征从对应的存储空间之中查找数据的存储信息，其中，由于数据库中设立了两个不同的存储设备分别用于存储数据和存储信息，并且还将其所存储的所有存储信息按照数据的地理位置、生成时间等特征进行分类，将不同类数据特征数据对应的存储信息存入不用的存储空间之中，因此使得数据库在查找数据的存储信息时，不需要便利所有其存储的存储信息，而是在数据对应的存储空间中查找即可，在数据量较大时，极大地减少了需要查找的数据量，本申请实施例能够在设备查询数据时，具有较高的处理速度和处理效率。

在本申请第一方面一实施例中，所述方法还包括：获取待存储的第二数据；确定所述第二数据的数据特征和存储信息；所述第二数据的存储信息用于指示存储所述第二数据的第二设备；将所述第二数据的存储信息存入所述第一设备中用于存储所述第二数据的数据特征的第二存储空间内；根据所述第二数据的存储信息，将所述第二数据存入所述第二设备中。

综上，在本实施例提供的数据处理方法中，针对数据的存储过程，能够在获得待存入数据库的数据后，按照数据的不同数据特征进行分类，除了将数据存入数据库之外，还将数据的存储信息按照数据的特征存入不同的存储空间之中。可以理解的是，由于不同存储空间存储有不同类别数据的存储信息，使得后续需要查询某数据的存储信息时，可以直接从该数据对应的存储空间之中查询即可，而不需要遍历查询整所有存储信息，从而快速得到数据的存储信息后，再根据存储信息实现数据的查询，因此本实施例的数据存储方法能够在设备查询数据时，具有较高的处理速度和处理效率。

在本申请第一方面一实施例中，所述数据特征包括：数据来源所属的地理位置，和/或数据生成的时间。

综上，在本实施例中，数据库按照数据的地理位置和/或数据生成的时间对数据的存储信息进行分类，由于这两种信息可以直接从数据的record信息中得到，并且能够对大部分数据进行区分，属于一种简单可行的分类方法。