[发明专利]数据读取方法、系统、设备及介质

说明书

本申请提供一种数据读取方法、系统、设备及介质，该方法包括：获取数据并利用微服务将数据存储到本地磁盘与ceph共享盘，所述ceph共享盘利用分布式文件系统存储全量数据，本地磁盘存储部分数据由对应的微服务独享；当微服务接收到查询请求时，判断每个pod的服务状态是否正常，当pod的服务状态正常时，分发查询请求到服务状态正常的Pod查询本地磁盘，汇总排序得到查询结果；当pod的服务状态异常时，查询ceph共享盘所对应服务状态异常pod相应的分区数据，汇总排序得到查询结果。通过将ceph共享盘与本地磁盘混合使用，提高系统的稳定性；本地磁盘的性能由单一微服务独享，提升数据读取效率；通过每个pod查询部分数据替代查询全部数据，化整为零，提供整体查询速度。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种数据读取方法、系统、设备及介质。

背景技术

随着存储技术的发展，分布式系统得到了广泛的应用，分布式系统包括用于存储相同数据的主节点和多个从节点，终端可以通过主节点将数据写入分布式系统，以及读取任意一个节点中存储的数据。

然而，分布式微云服务需要共享特征数据，现有技术中大多采用共享存储ceph来存储特征数据，其具有可靠性高、所有服务、所有节点都可访问优点。但在实际使用过程中，随着数据持续接入形成海量数据，会造成数据冗余的现象；同时，随着节点之间磁盘采用不同文件读取系统，导致数据捞取速度变得非常缓慢。

发明内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供一种数据读取方法、系统、设备及介质，用于解决现有技术中微云数据读取效率不高的问题。

为实现上述目的及其他相关目的，本申请提供一种数据读取方法，包括：

步骤S1，获取数据并利用微服务将所述数据存储到本地磁盘与ceph共享盘，其中，所述ceph共享盘利用分布式文件系统存储全量数据，所述本地磁盘存储部分数据由对应的微服务独享；

步骤S2，当微服务接收到查询请求时，判断每个pod的服务状态是否正常，当所述pod的服务状态正常时，分发所述查询请求到服务状态正常的Pod查询本地磁盘，汇总排序得到查询结果；当所述pod的服务状态异常时，查询ceph共享盘所对应服务状态异常pod相应的分区数据，汇总排序得到查询结果。

在本申请的一目的在于提供一种数据读取系统，包括：

数据存储模块，用于获取数据并利用微服务将所述数据存储到本地磁盘与ceph共享盘，其中，所述ceph共享盘利用分布式文件系统存储全量数据，所述本地磁盘存储部分数据由对应的微服务独享；

查询请求模块，用于当微服务接收到查询请求时，判断每个pod的服务状态是否正常，当所述pod的服务状态正常时，分发所述查询请求到服务状态正常的Pod查询本地磁盘，汇总排序得到查询结果；当所述pod的服务状态异常时，查询ceph共享盘所对应服务状态异常pod相应的分区数据，汇总排序得到查询结果。

在本申请的另一目的在于提供一种电子设备，包括：

一个或多个处理装置；

存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理装置执行，使得所述一个或多个处理装置执行所述数据读取方法。

在本申请的还一目的在于提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于使所述计算机执行所述数据读取方法。

如上所述，本申请的数据读取方法、系统、设备及介质，具有以下有益效果：

本申请通过将ceph共享盘与本地磁盘混合使用，提高系统的稳定性；其中，本地磁盘的性能由单一微服务独享，提升数据读取效率；查询时，通过每个pod查询部分数据替代查询全部数据，化整为零，提供整体查询速度。

附图说明