[发明专利]关系链存储系统的数据查询方法、装置、介质及电子设备

说明书

本公开提出用于数据查询的方法、装置、存储介质和电子设备。该方法包括获取所述数据的总数据集和结果数据集，基于所述数据的稀疏度选择所述数据的查询方式，以及基于所选择的查询方式，生成所述总数据集中的数据的第二索引。该方法解决在数据查询中，特别是针对关系链存储系统中的数据查询中符合筛选条件的数据在总数据集中占比较少时出现的用户体验下降和系统吞吐率降低的问题，通过对查询的结果数据集进行定量分析，结合不同的数据拉取策略和柔性服务策略，解决目前同类系统所存在的例如查询速度慢，存储分片吞吐率低等问题，并且可以通过修改配置，适应多种不同的使用场景。

技术领域

本公开涉及数据处理，特别地，涉及用于关系链存储系统的数据查询方法、装置、存储介质及其电子设备。

背景技术

关系链存储系统是一种定制的存储系统，能够对保存数据的多个属性建立索引，方便业务拉取展示。

对于关系链数据的查询请求，目前最基础的查询方式是根据请求的排序属性值的索引，依次遍历各条数据，同时判断每条数据是否满足筛选属性的筛选条件的要求。若满足筛选条件则返回数据，否则继续寻找，直到达到用户所要求的数据数量或数据集合中的数据已经遍历完成。

但是对于遍历过程中的筛选方式，当符合筛选条件的数据在总数据集中出现很少时，会使得存储侧不断遍历数据集。这个过程可能非常漫长，而在此期间用户无法看到需要展示的数据，用户体验比较差。另外一方面，如果大量的查询请求都符合上述特征，那么也会造成存储服务侧的吞吐率急剧下降，甚至可能使整个存储服务系统雪崩。

存储结果缓存的方式能在某种程度上缓解这个问题，但是这种方式不够灵活。一般能够缓存的结果数量是一定的，那么在某些复杂的业务场景下，缓存的方式无法满足复杂的业务需求，最终还是会退化到遍历筛选的方式。

因此，存在对数据查询进行改进的需求。

发明内容

本公开的目的在于提供一种数据查询方法、装置、存储介质及其电子设备，解决在数据查询中，特别是针对关系链存储系统中的数据查询中符合筛选条件的数据在总数据集中占比较少时出现的用户体验下降和系统吞吐率降低的问题，提高数据查询的效率，提高用户体验。

根据本公开的一方面，提出一种用于数据查询的方法，所述数据包括第一属性和第二属性，该方法包括：

获取所述数据的总数据集和结果数据集，其中所述总数据集包括以所述第一属性对所述总数据集的数据进行排序生成的第一索引，所述结果数据集包括以所述第二属性的筛选条件从所述总数据集中筛选的数据；

基于所述数据的稀疏度选择所述数据的查询方式，其中所述稀疏度为所述总数据集中的数据数量与所述结果数据集中的数据数量的比值；

基于所选择的查询方式，生成所述总数据集中的数据的第二索引，其中所述第二索引包括以所述第二属性对在查询中筛选出的数据进行排序生成的第一子索引和以所述第一属性对所述总数据集中与在查询中筛选出的数据不同的其它数据进行排序生成的第二子索引。

根据本公开的实施例，基于所述数据的稀疏度选择所述数据的查询方式包括：当所述稀疏度大于或等于筛选阈值、并且所述结果数据集的数据数量大于或等于排序阈值时，选择慢查询遍历筛选方式；当所述稀疏度大于或等于所述筛选阈值、并且所述结果数据集的数据数量小于所述排序阈值时，选择动态排序方式；当所述稀疏度小于所述筛选阈值、并且所述结果数据集的数据数量大于或等于快排序阈值时，选择遍历筛选方式；当所述稀疏度小于所述筛选阈值；并且所述结果数据集的数据数量小于所述快排序阈值时，选择所述动态排序方式，