[发明专利]一种分布式数据平台下数据存储的方法和装置

说明书

本发明提供一种分布式数据平台下数据存储的方法和装置，能够在有效记录数据变化的同时，提高数据存储和数据检索的效率。本发明的一种分布式数据平台下数据存储的方法包括：通过将当天的数据与数据状态变化表中的数据进行比较，对发生变化的数据进行分类；将所述分类后的数据分拣到不同的目录下，并按照所述目录的数据存储规则存储在相应的分区下；以及更新所述数据状态变化表。

技术领域

本发明涉及计算机技术领域，特别地涉及一种分布式数据平台下数据存储的方法和装置。

背景技术

大数据——人们用它来描述当前信息爆炸的时代，它不仅仅表现在数据量上的飞跃，而且数据存储种类也越来越多，从传统的关系型数据、Key-Value数据，到形式更加多样的平面文件、图片、音频、视频等等。要分析如此繁杂的数据，对数据平台的计算性能和存储性能都提出了更高的要求。

采用分布式的Hadoop系统来做大数据的存储和分析是业界的普遍做法，由于分布式的Hadoop系统采用的是文件存储数据的方式，虽然提升了数据的存储量和吞吐量，但是却牺牲了原有的关系型数据库的更新机制，只支持插入，删除，覆盖文本文件的操作方式，导致目前数据历史的积累只能采用数据快照的方式。对数据库中存储的数据每天保存一份快照，记录完整的数据状态，并随着时间积累形成历史数据存储。当需要还原或者检索数据状态变化的历史轨迹时，需要通过全量扫描历史数据，进行不同时间点的全域计算比对，找出数据的差异，还原时间点的数据状态。

但是现有的技术方案存在以下的一些缺点：

1.针对关系型数据库的存储方案对大数据量的处理束手无策；而现有分布式文件系统采取快照累积的方式，牺牲了大量储存空间，而且在后续的计算上，效率低下；

2.数据检索往往需要进行全量扫描，占用大量系统资源；

3.针对线上复杂多变的数据场景，缺乏灵活性。

然而，在大量的应用场景中，一个数据从产生到消亡往往会经过很多状态变化，相应地，数据平台在记录数据状态变化时产生了多份快照，数据存储会急速膨胀，而在数据分析过程中，往往需要对数据进行历史轨迹的跟踪，需要扫描大量的历史数据进行状态的还原，效率低下。因此，如何设计一种机制使数据平台既能够记录数据状态变化且便于分析和还原，是摆在我们面前亟需解决的重要问题。

发明内容

有鉴于此，本发明提供一种分布式数据平台下数据存储的方法和装置，能够在有效记录数据变化的同时，提高数据存储和数据检索的效率。

为实现上述目的，根据本发明的一个方面，提供了一种分布式数据平台下数据存储的方法。

一种分布式数据平台下数据存储的方法，包括：通过将当天的数据与数据状态变化表中的数据进行比较，对发生变化的数据进行分类；将所述分类后的数据分拣到不同的目录下，并按照所述目录的数据存储规则存储在相应的分区下；以及更新所述数据状态变化表。

可选地，所述分类是依据数据生命周期的过程来进行的，且包括在线类、过期类和归档类三种类型。

可选地，对发生变化的数据进行分类的步骤包括：通过查找数据的键名，将当天的数据与数据状态变化表中的数据进行比较；如果所述数据状态变化表中没有所述数据，且所述当天的数据中有所述数据，则所述数据为在线类；如果所述数据状态变化表与所述当天的数据中都有所述数据，但是所述数据的键值不同，则所述数据状态变化表中的所述数据为过期类，且当天的所述数据为在线类；以及如果所述数据状态变化表中有所述数据，且当天的数据中没有所述数据，则所述数据为归档类。

可选地，所述数据存储规则包括分区名称、数据时间和数据生命截止时间3个目录级别。

可选地，所述分区名称包括在线分区、过期分区和归档分区。