[发明专利]数据存储方法、装置、服务器和存储介质有效

专利信息
申请号: 201811385702.0 申请日: 2018-11-20
公开(公告)号: CN109522311B 公开(公告)日: 2021-08-20
发明(设计)人: 张志远;王生玉;孟宪奎;石志中;张俊杰 申请(专利权)人: 北京锐安科技有限公司;青海省公安厅
主分类号: G06F16/22 分类号: G06F16/22
代理公司: 北京品源专利代理有限公司 11332 代理人: 孟金喆
地址: 100044 北京市海淀区西小口*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 数据 存储 方法 装置 服务器 介质
【说明书】:

发明实施例公开了一种数据存储方法、装置、服务器和存储介质。该方法包括:确定批量数据中各条数据关联的响应实例;其中,所述响应实例是将数据库的逻辑表分解为至少两个物理表,并构建各物理表的主从OpenTSDB实例得到的;向各响应实例发送关联的待写入数据,且采用各响应实例将关联的待写入数据写入关联的物理表中。本发明实施例通过主从实例的部署方式以及物理表的横向扩展,在OpenTSDB数据读写服务中规避参数标识的同步锁控制机制,实现了批量数据的并行写入,提高了批量数据的写入速度和存储结构的可扩展性,优化了OpenTSDB数据读写服务性能。

技术领域

本发明实施例涉及数据库技术领域,尤其涉及一种数据存储方法、装置、服务器和存储介质。

背景技术

随着信息时代的快速发展,越来越多的行业逐步利用大量的业务数据进行数据的存储、分析和处理,以在海量业务数据的基础上提高行业与市场的兼容性。

现有技术中,OpenTSDB(Open Time Series Database,开源时间序列数据库)作为建立在数据库上一层的数据读写服务,可支持时序数据的秒级存储以及数据的永久存储,可以从大规模的集群中获取数据指标进行存储、索引以及服务。传统OpenTSDB的缺省工作状态中,为了保证数据中各参数标识的全局唯一性,采用同步锁控制机制对参数标识进行控制,进而OpenTSDB实例只有在获取参数标识的同步锁之后,才能对参数进行处理,并将同步锁释放,以备后续处理操作时使用。进而实现逐条将数据写入数据库中。

然而,虽然单个OpenTSDB实例的数据写入能力约为每秒2000条,但是现有技术无法实现数据写入的并发性。当需要写入的数据量急剧增加时,现有技术难以应对海量数据的写入,导致数据写入的不及时或无法写入,影响数据的有效存储。

发明内容

本发明实施例提供了一种数据存储方法、装置、服务器和存储介质,能够提高批量数据的写入速度和存储结构的可扩展性,优化OpenTSDB数据读写服务性能。

第一方面,本发明实施例提供了一种数据存储方法,包括:

确定批量数据中各条数据关联的响应实例;其中,所述响应实例是将数据库的逻辑表分解为至少两个物理表,并构建各物理表的主从OpenTSDB实例得到的;

向各响应实例发送关联的待写入数据,且采用各响应实例将关联的待写入数据写入关联的物理表中。

第二方面,本发明实施例提供了一种数据存储装置,包括:

实例分配模块,用于确定批量数据中各条数据关联的响应实例;其中,所述响应实例是将数据库的逻辑表分解为至少两个物理表,并构建各物理表的主从OpenTSDB实例得到的;

数据写入模块,用于向各响应实例发送关联的待写入数据,且采用各响应实例将关联的待写入数据写入关联的物理表中。

第三方面,本发明实施例提供了一种服务器,包括:

一个或多个处理器;

存储器,用于存储一个或多个程序;

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所述的数据存储方法。

第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例所述的数据存储方法。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京锐安科技有限公司;青海省公安厅,未经北京锐安科技有限公司;青海省公安厅许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201811385702.0/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top