[发明专利]数据存储系统、方法和装置

说明书

本申请公开了数据存储系统、方法和装置。该系统的一具体实施方式包括：数据抽取服务器，用于实时地从数据库服务器的操作日志中抽取实时增量的二进制操作记录集合，并实时地将实时增量的二进制操作记录集合解析为实时增量的字符串操作记录集合；数据缓存服务器，用于实时地从数据抽取服务器获取实时增量的字符串操作记录集合，并对实时增量的字符串操作记录集合按操作时间进行顺序缓存；数据存储服务器集群，用于周期性地从数据缓存服务器中获取周期增量的字符串操作记录集合，并对周期增量的字符串操作记录集合按操作时间进行顺序存储。该实施方式有助于提高数据存储服务器集群获取数据的时效性。

技术领域

本申请涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及数据存储系统、方法和装置。

背景技术

数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

数据仓库是集成的，数据仓库的数据来自于分散的操作型数据(例如操作日志)，数据仓库定期将所需数据从原来的数据中抽取出来，进行加工与集成，统一与综合之后才能进入数据仓库。

然而，现有数据仓库通常只能以日、周、月、季、年为周期定期抽取数据，其抽取数据的时效性较低，无法满足对时效性要求较高的业务需求。

发明内容

本申请的目的在于提出一种改进的数据存储系统、方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请实施例提供了一种数据存储系统，该系统包括数据抽取服务器、数据缓存服务器和数据存储服务器集群；其中，数据抽取服务器，用于实时地从数据库服务器的操作日志中抽取实时增量的二进制操作记录集合，并实时地将实时增量的二进制操作记录集合解析为实时增量的字符串操作记录集合，其中，操作记录包括操作时间和操作数据；数据缓存服务器，用于实时地从数据抽取服务器获取实时增量的字符串操作记录集合，并对实时增量的字符串操作记录集合按操作时间进行顺序缓存；数据存储服务器集群，用于周期性地从数据缓存服务器中获取周期增量的字符串操作记录集合，并对周期增量的字符串操作记录集合按操作时间进行顺序存储。

在一些实施例中，数据抽取服务器，还用于：利用主从复制机制，实时地从数据库服务器的操作日志中抽取实时增量的二进制操作记录集合。

在一些实施例中，数据缓存服务器，还用于：实时地获取实时增量的字符串操作记录集合中的每个字符串操作记录的关键字；将该字符串操作记录的关键字与所存储的第一数据表的与各行或各列所对应的主键进行匹配；若匹配成功，将该字符串操作记录缓存在第一数据表的匹配成功的主键所对应的行或列中。

在一些实施例中，数据存储服务器集群，还用于：对于周期增量的字符串操作记录集合中的每个字符串操作记录，将该字符串操作记录的关键字与所存储的第二数据表的与各行或各列所对应的主键进行匹配；若匹配成功，将该字符串操作记录存储在第二数据表的匹配成功的主键对应的行或列中。

在一些实施例中，数据存储服务器集群，还用于：周期性地查询周期增量的字符串操作记录集合，并对周期增量的字符串操作记录集合进行处理，生成处理结果。

在一些实施例中，数据存储服务器集群，还用于：对于周期增量的字符串操作记录集合中存储在第二数据表的每个主键所对应的字符串操作记录集合，将该主键所对应的字符串操作记录集合合并，以生成一个字符串操作记录。