[发明专利]一种针对用电采集系统的分级缓存优化系统在审
申请号: | 201811482473.4 | 申请日: | 2018-12-05 |
公开(公告)号: | CN109656937A | 公开(公告)日: | 2019-04-19 |
发明(设计)人: | 欧家祥;代湘蓉;张俊玮;黄宇;丁超;王蓝苓;王扬;胡厚鹏;李航峰;宋强;杨婧;王俊融;安江;吴才远;林晓庆;付卿卿;文良文;余飞娅;唐贤敏;石云晖 | 申请(专利权)人: | 贵州电网有限责任公司 |
主分类号: | G06F16/23 | 分类号: | G06F16/23;G06F16/2455 |
代理公司: | 贵阳中新专利商标事务所 52100 | 代理人: | 商小川 |
地址: | 550002 贵*** | 国省代码: | 贵州;52 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 缓存优化 用电采集 分级 批次管理 管理器 入库 并发 数据缓存管理器 采集数据存储 峰值处理能力 接收数据缓存 数据库连接 报文解析 动态申请 缓存队列 缓存技术 缓存数据 数据入库 数据转换 数据组合 数据量 | ||
本发明公开了一种针对用电采集系统的分级缓存优化系统,所述针对用电采集系统的分级缓存优化系统包括,数据缓存管理器,通过缓存技术将报文解析后的采集数据存储在缓存队列中;批次管理器,接收数据缓存管理器的数据,能够根据入库需要对缓存数据进行数据转换和数据组合,生成不同的数据入库任务批次;并发入库管理器,接收批次管理器的数据,根据任务批次的数据量、优先级,动态申请数据库连接。以解决现有技术并发入库的及时性、可靠性和峰值处理能力较差的问题。
技术领域
本发明涉及计算机领域,尤其涉及一种针对用电采集系统的分级缓存优化系统。
背景技术
现有电采集系统采用普通的主从模式,即服务器加采集器,并发入库的及时性、可靠性和峰值处理能力较差,特别是在数据采集高峰期时极容易造成系统崩溃。
发明内容
本发明要解决的技术问题是:提供一种针对用电采集系统的分级缓存优化系统,以解决现有技术并发入库的及时性、可靠性和峰值处理能力较差的问题。
本发明的技术方案是:一种针对用电采集系统的分级缓存优化系统,所述针对用电采集系统的分级缓存优化系统包括,
数据缓存管理器,通过缓存技术将报文解析后的采集数据存储在缓存队列中;
批次管理器,接收数据缓存管理器的数据,能够根据入库需要对缓存数据进行数据转换和数据组合,生成不同的数据入库任务批次;
并发入库管理器,接收批次管理器的数据,根据任务批次的数据量、优先级,动态申请数据库连接。
进一步地,所述并发入库管理器采用1个以上线程进行任务组装。
进一步地,所述并发入库管理器采用JDBC batch技术实现并行装载。
进一步地,所述针对用电采集系统的分级缓存优化系统还包括阀值触发器,用于监控和判断数据缓存管理器中的记录条数,与数据缓存管理器数据连通。
进一步地,所述针对用电采集系统的分级缓存优化系统还包括计时器,用于监控和判断当前时间,与数据缓存管理器数据连通。
本发明的有益效果是:
与现有技术相比,本发明通过使用数据缓存管理器、批次管理器和并发入库管理器,实现了电采集系统的分级缓存优化,系统并发入库及时性高,系统可靠性好,峰值处理能力强。
附图说明
图1为本发明的结构示意图;
图中:1数据缓存管理器、2批次管理器、3并发入库管理器、4阀值触发器、5计时器。
具体实施方式
下面结合附图及具体的实施例对发明进行进一步介绍:
参考图1,一种针对用电采集系统的分级缓存优化系统,所述针对用电采集系统的分级缓存优化系统包括,
数据缓存管理器1,通过缓存技术将报文解析后的采集数据存储在缓存队列中;
批次管理器2,接收数据缓存管理器1的数据,能够根据入库需要对缓存数据进行数据转换和数据组合,生成不同的数据入库任务批次;
并发入库管理器3,接收批次管理器2的数据,根据任务批次的数据量、优先级,动态申请数据库连接。
实现了电采集系统的分级缓存优化,系统并发入库及时性,可靠性和峰值处理能力得到提升。
进一步地,所述并发入库管理器3采用1个以上线程进行任务组装。通过多线程技术实现并行存储,结合并发控制访问策略减少对数据库访问的资源竞争,提高系统存储效率。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于贵州电网有限责任公司,未经贵州电网有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811482473.4/2.html,转载请声明来源钻瓜专利网。