[发明专利]一种处理实时大批量推送数据入库的方法在审
申请号: | 201711090139.X | 申请日: | 2017-11-08 |
公开(公告)号: | CN107766566A | 公开(公告)日: | 2018-03-06 |
发明(设计)人: | 岳永胜;李波 | 申请(专利权)人: | 四川长虹电器股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 四川省成都市天策商标专利事务所51213 | 代理人: | 蒋金梅 |
地址: | 621000 四*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种处理实时大批量推送数据入库的方法,涉及软件技术领域。包括配置webSocket连接通道,初始化队列和连接池,推送数据使用webSocket方式连接推送源,接收数据;Websocket将接收到的数据写入队列;创建数据处理线程,所述数据处理线程接收队列参数和连接池参数并运行;从数据处理线程中取队列数据,通过根据业务定制的具体规则策略实现数据分组,并创建数据处理任务;数据处理任务实现加锁以及批量入库。本发明处理对象为实时推送的大批量数据,并为数据提供分类规则,减少入库IO操作,提高性能。实时处理了通过websocket连接接收的数据,推送时间和入库时间差控制在1分钟以内,大大提升了处理效率。 | ||
搜索关键词: | 一种 处理 实时 大批量 推送 数据 入库 方法 | ||
【主权项】:
一种处理实时大批量推送数据入库的方法,其特征在于,包括:配置webSocket连接通道,初始化队列和连接池,推送数据使用webSocket方式连接推送源,接收数据;Websocket将接收到的数据写入队列;创建数据处理线程,所述数据处理线程接收队列参数和连接池参数并运行;从数据处理线程中取队列数据,通过根据业务定制的具体规则策略实现数据分组,并创建数据处理任务;数据处理任务实现加锁以及批量入库。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于四川长虹电器股份有限公司,未经四川长虹电器股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201711090139.X/,转载请声明来源钻瓜专利网。
- 上一篇:对话角色区分方法与系统
- 下一篇:网络表的实体扩展方法