[发明专利]一种大数据的管理方法

说明书

技术领域

本发明涉及大数据技术领域，特别是涉及一种大数据的管理方法。

背景技术

随着对技术的发展，在经济生活或者工业生产中产生的数据量也越来越大。为了充分利用这些数据，以进一步加快技术的进步或者更好的服务于人们的生活，催生了大数据系统。

目前，互联网公司通常会将各条数据直接存储到存储服务器中，比如，将第一条数据存储在存储服务器A上，将第二条数据也存储在存储服务器A上，直至存储服务器A存储空间用完，然后再依次存储在存储服务器B、存储服务器C上，在需要使用这些数据时，根据用户需求，从各个存储服务器中检索对应的数据，然后再使用这些数据。

但是，应用现有技术存储各条数据，在数据量及其庞大时，用户搜索这些数据需要检索所有的服务器，导致检索数据的耗时较长。

发明内容

本发明实施例的目的在于提供一种大数据的管理方法，以实现降低检索耗时的目的。具体技术方案如下：

一种大数据的管理方法，应用于大数据平台的控制中心，所述方法包括：

针对所述大数据平台中各个存储服务器存储的每一条数据，读取所述数据中的所有预设内容，其中，所述预设内容包括：用户ID、时间戳、对应的文件ID；

针对所述所有预设内容中的每一预设内容，建立该预设内容对应的索引文件，其中，所述索引文件包括：该预设内容、包含该预设内容的数据的存储位置以及所述该预设内容与所述包含该预设内容的数据的存储位置的对应关系；

接收数据读取请求，其中所述数据读取请求至少包括所述所有预设内容中的一种；

根据所述数据读取请求，查找与该数据读取请求对应的索引文件，根据该索引文件查找目标数据。

可选的，所述针对所述大数据平台中各个存储服务器存储的每一条数据，读取所述数据中的所有预设内容，包括：

针对所有大数据平台中各个存储服务器存储的每一条数据，读取所述数据中的所有预设内容；

所述索引文件包括：该预设内容、该预设内容存储的大数据平台的标识信息、包含该预设内容的数据的存储位置以及所述该预设内容与所述包含该预设内容的数据的存储位置的对应关系。

可选的，所述针对所述所有预设内容中的每一预设内容，建立该预设内容对应的索引文件，包括：

针对所述所有预设内容中的每一预设内容，建立该预设内容对应的索引文件，并将所有索引文件存储在专用的索引存储服务器中。

可选的，在针对所述所有预设内容中的每一预设内容，建立该预设内容对应的索引文件之前，所述方法还包括：

对读取的数据进行去重处理以及去除所述读取的数据中的非法数据。

可选的，所述方法还包括：

将所有存储服务器中存储的、被访问频率低于第一预设阈值的索引文件删除，并删除该索引文件对应的数据。

可选的，所述方法还包括：

将所有存储服务器中存储的、被访问频率低于第二预设阈值的索引文件对应的数据进行压缩处理。

本发明实施例提供了一种大数据的管理方法，应用于大数据平台的控制中心，所述方法包括：针对所述大数据平台中各个存储服务器存储的每一条数据，读取所述数据中的所有预设内容，其中，所述预设内容包括：用户ID、时间戳、对应的文件ID；针对所述所有预设内容中的每一预设内容，建立该预设内容对应的索引文件，其中，所述索引文件包括：该预设内容、包含该预设内容的数据的存储位置以及所述该预设内容与所述包含该预设内容的数据的存储位置的对应关系；接收数据读取请求，其中所述数据读取请求至少包括所述所有预设内容中的一种；根据所述数据读取请求，查找与该数据读取请求对应的索引文件，根据该索引文件查找目标数据。

本发明实施例提供的一种大数据的管理方法，用户的数据读取请求被接收时，服务器可以根据该数据读取请求先找到与该数据请求对应的索引文件，然后，再根据该索引文件找到目标数据，相对于现有技术需要检索所有的存储服务器，本发明实施例可以减少检索数据的时间。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的第一种大数据的管理方法。