[发明专利]字典加载的方法、装置、电子设备和存储介质在审
申请号: | 202310193344.8 | 申请日: | 2023-02-23 |
公开(公告)号: | CN116303445A | 公开(公告)日: | 2023-06-23 |
发明(设计)人: | 洪帅;钱叶;陈洪健 | 申请(专利权)人: | 北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2458;G06F16/23 |
代理公司: | 中原信达知识产权代理有限责任公司 11219 | 代理人: | 张春晓;郝红玉 |
地址: | 100176 北京市大兴区北京经济*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 字典 加载 方法 装置 电子设备 存储 介质 | ||
1.一种字典加载的方法,其特征在于,包括:
响应于字典加载指令,获取数据查询集群所包括的分片集合;
对所述分片集合中每个分片,获取对应的分片运行数据、字典加载运行数据、请求数据,以确定所述分片的运行状态;
响应于所述运行状态为正常,基于所述字典加载运行数据执行字典加载程序;或者,响应于所述运行状态为异常,更新所述字典加载运行数据,结合所述分片运行数据和所述请求数据更新所述分片的运行状态,使更新的运行状态为正常,以基于更新的字典加载运行数据执行字典加载程序。
2.根据权利要求1所述的方法,其特征在于,所述字典加载运行数据包括字典加载的并发线程数量;
基于所述字典加载运行数据执行字典加载程序,包括:
调用所述并发线程数量的线程,读取所述分片中对应的维表;
识别所述维表中第一字段集合和第二字段集合,将所述第一字段集合对应数据的数据格式转换为预设格式,删除所述第二字段集合对应的数据,以得到更新的维表;
基于更新的维表生成字典。
3.根据权利要求2所述的方法,其特征在于,基于更新的维表生成字典,包括:
基于所述维表的物品标识确定所述物品标识对应目标字段的参数值数量;
响应于所述参数值数量大于阈值,基于所述物品标识对应目标字段的参数值生成数组,以结合所述更新的维表生成字典。
4.根据权利要求1所述的方法,其特征在于,在响应于字典加载指令之前,所述方法还包括:
响应于维表导入指令,获取所述维表对应物品标识所述数据查询集群中分片数量,以调用预设的计算模型,计算各分片对应的物品标识;
从离线数据源中获取各物品标识对应的数据,以基于存储至各物品标识对应分片的维表。
5.根据权利要求1所述的方法,其特征在于,在所述获取对应的分片运行数据、字典加载运行数据、请求数据之前,还包括:
响应于所述分片中已存储字典,删除已存储的字典。
6.根据权利要求1所述的方法,其特征在于,所述字典加载运行数据包括字典加载的并发线程数量;
更新所述字典加载运行数据,包括:
响应于所述异常为繁忙状态,减少所述并发线程数量,以得到更新的并发线程数量。
7.根据权利要求1所述的方法,其特征在于,在所述执行字典加载程序之后,还包括:
基于所述字典中数据计算预设校验指标的第一指标值,基于所述维表计算预设校验指标的第二指标值;
响应于所述第一指标值和第二指标值相同,确定所述字典校验通过。
8.一种字典加载的装置,其特征在于,包括:
获取单元,用于响应于字典加载指令,获取数据查询集群所包括的分片集合;
处理单元,用于对所述分片集合中每个分片,获取对应的分片运行数据、字典加载运行数据、请求数据,以确定所述分片的运行状态;
所述处理单元,还用于响应于所述运行状态为正常,基于所述字典加载运行数据执行字典加载程序;或者,响应于所述运行状态为异常,更新所述字典加载运行数据,结合所述分片运行数据和所述请求数据更新所述分片的运行状态,使更新的运行状态为正常,以基于更新的字典加载运行数据执行字典加载程序。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司,未经北京沃东天骏信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310193344.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种转台结构
- 下一篇:页面内容的填充方法及装置、电子设备