[发明专利]时序化的数据处理方法、装置及系统

说明书

技术领域

本发明涉及数据存储与管理技术，尤其涉及一种时序化的数据处理方法、装置及系统。

背景技术

随着高密度海量数据存储需求的不断发展，越来越多的应用场合通过集中存储系统来实现对于各种数据的存储和访问，例如，数据备份、视频监控、视频编辑、地质勘探、数据归档应用等，而在这些数据处理的过程中，其都具有明确的时间特征，同时具有如下特点：

所述数据的存储通常是非结构化存储或近似非结构化存储，且存储过程对IO带宽要求比较高，如必须达到数十MB/s以上，数据总量比较大且是不间断产生的；而所述数据的访问通常都具有或者暗含时序性特征信息；所述数据一旦进入存储系统，再次访问的概率往往较低，但往往又不能完全离线存储，据统计，所述数据的访问频率，大部分可能低于1次/月。

在现有的集中存储系统中，数据的存储和访问通常使用如下方法：根据数据被访问的特性，将数据分为3个层次，在线存储、近线存储和离线存储。上面所述数据的存储可以归类为典型的近线存储需求，但近线存储的关键点和难点是数据进入近线存储系统的判断依据，所以，近些年来围绕近线存储的一些方法和系统，基本上都是围绕热点数据进行管理，所谓热点，就是在一定的时间窗口内，对各个数据的访问频率统计，根据统计情况，将数据分别存储在在线存储系统和近线存储系统。对于上面所述数据管理的需求，则难以通过热点进行分类，主要的问题在于数据普遍的访问率低下，再次访问也是在偶然情况下发生，几乎不会出现阶段性局部数据被反复访问的情况。

发明人发现：由于分级存储的所有数据都是根据访问频率进行分级的，在数据量很大，且所存储的数据不具有热点特征，则需要容量很大的在线存储系统予以支撑，而这往往会使得文件基本操作的时间较长，进而导致用户进行数据处理的时间过长，从而降低了前端应用系统的数据处理效率。

发明内容

有鉴于此，本发明要解决的技术问题是，提供一种时序化的数据处理方法、装置及系统，在进行数据处理时考虑数据之间的时序性关系，从而能够优化数据的存储和管理。

为此，本发明实施例采用如下技术方案：

一种时序化的数据处理方法，该方法包括：

获取待处理数据的时间信息、所归属的序列化通道以及应用处理类型；

根据所述时间信息以及所述序列化通道确定所述待处理数据对应的存储单元；

通过所述存储单元对所述待处理数据进行应用处理类型指示的处理操作。

一种时序化的数据处理装置，包括：

第一获取单元，用于获取待处理数据的时间信息、所归属的序列化通道以及应用处理类型；所述序列化通道对应数据类型；

确定单元，用于根据所述时间信息以及所述序列化通道确定所述待处理数据对应的存储单元；

处理单元，用于通过所述存储单元对所述待处理数据进行应用处理类型指示的处理操作。

一种时序化的数据处理系统，包括：应用终端、数据处理装置以及存储单元；其中，

应用终端，用于接收用户的数据处理请求，把该请求发送给数据处理装置；

数据处理装置，用于接收所述应用终端发送的数据处理请求，从所述数据处理请求中获取待处理数据的时间信息、所归属的序列化通道以及应用处理类型；其中，所述序列化通道对应数据类型；根据所述时间信息以及所述序列化通道确定所述待处理数据对应的存储单元；通过所述存储单元对所述待处理数据进行应用处理类型指示的处理操作；

存储单元，用于存储数据，并在数据处理装置的控制下进行数据处理。

对于上述技术方案的技术效果分析如下：

以数据的时间信息作为数据处理的索引，并为各个不同类型的数据设置对应的序列化通道，依据数据的时间信息以及序列化通道确定数据的存储单元，进而对数据进行应用处理类型指示的处理，整个过程中，以数据的时间信息和序列化通道作为依据，考虑到了数据本身的时序性特点以及类型特点，从而数据的存储和管理。

附图说明

图1为本发明实施例时序化的数据处理方法流程示意图；

图2为本发明实施例时序化的数据写入方法流程示意图；

图3为本发明实施例时序化的数据转移方法流程示意图；

图4为本发明实施例数据清除方法流程示意图；

图5为本发明实施例时序化的数据读取方法流程示意图；

图6为本发明实施例时序化的数据删除方法流程示意图；

图7为本发明实施例时序化的数据处理装置结构示意图；

图8为本发明实施例另一种时序化的数据处理装置结构示意图；

图9为本发明实施例时序化的数据处理系统结构示意图。