[发明专利]字典加载的方法、装置、电子设备和存储介质

说明书

本发明公开了字典加载的方法、装置、电子设备和存储介质，涉及计算机技术领域。该方法的一具体实施方式包括：响应于字典加载指令，数据查询集群所包括的分片集合；对所述分片集合中每个分片，获取对应的分片运行数据、字典加载运行数据、请求数据，以确定分片的运行状态；响应于运行状态为异常，更新字典加载运行数据，结合分片运行数据和请求数据更新分片的运行状态，使更新的运行状态为正常，以基于更新的字典加载运行数据执行字典加载程序；响应于运行状态为正常，基于字典加载运行数据执行字典加载程序。该实施方式能够解决全量字典加载过程通过并发线程实现，需要消耗大量的处理资源和内存空间来实现字典的加载，降低了系统性能的问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种字典加载的方法、装置、电子设备和存储介质。

背景技术

在电商领域，数据分析通常需要进行数据查询操作，以得到用于分析的数据，ClickHouse(Click Stream Data WareHouse，一个用于联机分析的列式数据库管理系统)字典被广泛应用于数据查询。例如，电商领域数据分析时通常是建立两张维表，一张记录SKU(物品标识)和岗位部门之间的关系，一张记录SKU对应的物品信息，为了提高系统性能，SKU和岗位部门之间的关系的查询处理通常由ClickHouse字典实现，即将记录SKU和岗位部门之间关系的数据表加载至数据分析集群的内存，生成ClickHouse字典。在数据查询时，数据分析集群中各分片上的数据关联其分片上的字典进行查询来得到岗位部门，然后将各个分片的查询结果汇总得到最终的查询结果。在这样的机制下，各分片上需存储全量字典，以保证每个分片上的数据可以根据字典查询得到结果，所以在字典加载时需要健在全量字典来支持数据查询。所以现有技术中在字典加载时，因需要加载全量字典，而字典数据量较大，需要消耗大量的处理资源和内存空间来实现字典的加载，降低了系统性能。

发明内容

有鉴于此，本发明实施例提供一种字典加载的方法、装置、电子设备和存储介质，能够解决全量字典加载过程通过并发线程实现，需要消耗大量的处理资源和内存空间来实现字典的加载，降低了系统性能的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种字典加载的方法。

本发明实施例的一种字典加载的方法包括：

响应于字典加载指令，获取所述数据查询集群所包括的分片集合；

对所述分片集合中每个分片，获取对应的分片运行数据、字典加载运行数据、请求数据，以确定所述分片的运行状态；

响应于所述运行状态为正常，基于所述字典加载运行数据执行字典加载程序；或者，响应于所述运行状态为异常，更新所述字典加载运行数据，结合所述分片运行数据和所述请求数据更新所述分片的运行状态，使更新的运行状态为正常，以基于更新的字典加载运行数据执行字典加载程序；响应于所述运行状态为正常，基于所述字典加载运行数据执行字典加载程序。

在一个实施例中，所述字典加载运行数据包括字典加载的并发线程数量；

基于所述字典加载运行数据执行字典加载程序，包括：

调用所述并发线程数量的线程，读取所述分片中对应的维表；

识别所述维表中第一字段集合和第二字段集合，将所述第一字段集合对应数据的数据格式转换为预设格式，删除所述第二字段集合对应的数据，以得到更新的维表；

基于更新的维表生成字典。

在又一个实施例中，基于更新的维表生成字典，包括：

基于所述维表的物品标识确定所述物品标识对应目标字段的参数值数量；

响应于所述参数值数量大于阈值，基于所述物品标识对应目标字段的参数值生成数组，以结合所述更新的维表生成字典。