[发明专利]数据存储方法、装置、服务器和存储介质有效
申请号: | 201811385702.0 | 申请日: | 2018-11-20 |
公开(公告)号: | CN109522311B | 公开(公告)日: | 2021-08-20 |
发明(设计)人: | 张志远;王生玉;孟宪奎;石志中;张俊杰 | 申请(专利权)人: | 北京锐安科技有限公司;青海省公安厅 |
主分类号: | G06F16/22 | 分类号: | G06F16/22 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 100044 北京市海淀区西小口*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据 存储 方法 装置 服务器 介质 | ||
本发明实施例公开了一种数据存储方法、装置、服务器和存储介质。该方法包括:确定批量数据中各条数据关联的响应实例;其中,所述响应实例是将数据库的逻辑表分解为至少两个物理表,并构建各物理表的主从OpenTSDB实例得到的;向各响应实例发送关联的待写入数据,且采用各响应实例将关联的待写入数据写入关联的物理表中。本发明实施例通过主从实例的部署方式以及物理表的横向扩展,在OpenTSDB数据读写服务中规避参数标识的同步锁控制机制,实现了批量数据的并行写入,提高了批量数据的写入速度和存储结构的可扩展性,优化了OpenTSDB数据读写服务性能。
技术领域
本发明实施例涉及数据库技术领域,尤其涉及一种数据存储方法、装置、服务器和存储介质。
背景技术
随着信息时代的快速发展,越来越多的行业逐步利用大量的业务数据进行数据的存储、分析和处理,以在海量业务数据的基础上提高行业与市场的兼容性。
现有技术中,OpenTSDB(Open Time Series Database,开源时间序列数据库)作为建立在数据库上一层的数据读写服务,可支持时序数据的秒级存储以及数据的永久存储,可以从大规模的集群中获取数据指标进行存储、索引以及服务。传统OpenTSDB的缺省工作状态中,为了保证数据中各参数标识的全局唯一性,采用同步锁控制机制对参数标识进行控制,进而OpenTSDB实例只有在获取参数标识的同步锁之后,才能对参数进行处理,并将同步锁释放,以备后续处理操作时使用。进而实现逐条将数据写入数据库中。
然而,虽然单个OpenTSDB实例的数据写入能力约为每秒2000条,但是现有技术无法实现数据写入的并发性。当需要写入的数据量急剧增加时,现有技术难以应对海量数据的写入,导致数据写入的不及时或无法写入,影响数据的有效存储。
发明内容
本发明实施例提供了一种数据存储方法、装置、服务器和存储介质,能够提高批量数据的写入速度和存储结构的可扩展性,优化OpenTSDB数据读写服务性能。
第一方面,本发明实施例提供了一种数据存储方法,包括:
确定批量数据中各条数据关联的响应实例;其中,所述响应实例是将数据库的逻辑表分解为至少两个物理表,并构建各物理表的主从OpenTSDB实例得到的;
向各响应实例发送关联的待写入数据,且采用各响应实例将关联的待写入数据写入关联的物理表中。
第二方面,本发明实施例提供了一种数据存储装置,包括:
实例分配模块,用于确定批量数据中各条数据关联的响应实例;其中,所述响应实例是将数据库的逻辑表分解为至少两个物理表,并构建各物理表的主从OpenTSDB实例得到的;
数据写入模块,用于向各响应实例发送关联的待写入数据,且采用各响应实例将关联的待写入数据写入关联的物理表中。
第三方面,本发明实施例提供了一种服务器,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所述的数据存储方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例所述的数据存储方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京锐安科技有限公司;青海省公安厅,未经北京锐安科技有限公司;青海省公安厅许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811385702.0/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置