[发明专利]数据存储系统、方法和装置在审
| 申请号： | 201710407437.0 | 申请日： | 2017-06-02 |
| 公开（公告）号： | CN108984564A | 公开（公告）日： | 2018-12-11 |
| 发明（设计）人： | 张侃;刘若曦;刘彦伟;荆迪 | 申请（专利权）人： | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人： | 王达佐;马晓亚 |
| 地址： | 100080 北京市海淀区杏石口路6*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 操作记录 集合 字符串 数据存储服务器集群 数据缓存服务器 二进制 数据存储系统 方法和装置 数据抽取 周期增量 数据库服务器 服务器获取 操作日志 获取数据 顺序存储 顺序缓存 时效性 解析 服务器 抽取 申请 | ||
1.一种数据存储系统，其特征在于，所述系统包括数据抽取服务器、数据缓存服务器和数据存储服务器集群；
所述数据抽取服务器，用于实时地从数据库服务器的操作日志中抽取实时增量的二进制操作记录集合，并实时地将所述实时增量的二进制操作记录集合解析为实时增量的字符串操作记录集合，其中，操作记录包括操作时间和操作数据；
所述数据缓存服务器，用于实时地从所述数据抽取服务器获取所述实时增量的字符串操作记录集合，并对所述实时增量的字符串操作记录集合按操作时间进行顺序缓存；
所述数据存储服务器集群，用于周期性地从所述数据缓存服务器中获取周期增量的字符串操作记录集合，并对所述周期增量的字符串操作记录集合按操作时间进行顺序存储。
2.根据权利要求1所述的系统，其特征在于，所述数据抽取服务器，还用于：
利用主从复制机制，实时地从数据库服务器的操作日志中抽取实时增量的二进制操作记录集合。
3.根据权利要求1所述的系统，其特征在于，所述数据缓存服务器，还用于：
实时地获取所述实时增量的字符串操作记录集合中的每个字符串操作记录的关键字；
将该字符串操作记录的关键字与所存储的第一数据表的与各行或各列所对应的主键进行匹配；
若匹配成功，将该字符串操作记录缓存在所述第一数据表的匹配成功的主键所对应的行或列中。
4.根据权利要求3所述的系统，其特征在于，所述数据存储服务器集群，还用于：
对于所述周期增量的字符串操作记录集合中的每个字符串操作记录，将该字符串操作记录的关键字与所存储的第二数据表的与各行或各列所对应的主键进行匹配；
若匹配成功，将该字符串操作记录存储在所述第二数据表的匹配成功的主键对应的行或列中。
5.根据权利要求4所述的系统，其特征在于，所述数据存储服务器集群，还用于：
周期性地查询所述周期增量的字符串操作记录集合，并对所述周期增量的字符串操作记录集合进行处理，生成处理结果。
6.根据权利要求5所述的系统，其特征在于，所述数据存储服务器集群，还用于：
对于所述周期增量的字符串操作记录集合中存储在所述第二数据表的每个主键所对应的字符串操作记录集合，将该主键所对应的字符串操作记录集合合并，以生成一个字符串操作记录。
7.一种用于数据抽取服务器的数据存储方法，其特征在于，所述方法包括：
实时地从数据库服务器的操作日志中抽取实时增量的二进制操作记录集合；
实时地将所述实时增量的二进制操作记录集合解析为实时增量的字符串操作记录集合，其中，操作记录包括操作时间和操作数据；
实时地向数据缓存服务器发送所述实时增量的字符串操作记录集合，以使所述数据缓存服务器对所述实时增量的字符串操作记录集合按操作时间进行顺序缓存，数据存储服务器集群周期性地从所述数据缓存服务器中获取周期增量的字符串操作记录集合，并对所述周期增量的字符串操作记录集合按操作时间进行顺序存储。
8.根据权利要求7所述的方法，其特征在于，所述实时地从数据库服务器的操作日志中抽取实时增量的二进制操作记录集合，包括：
利用主从复制机制，实时地从数据库服务器的操作日志中抽取实时增量的二进制操作记录集合。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司，未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201710407437.0/1.html，转载请声明来源钻瓜专利网。
