[发明专利]数据读取方法、系统、设备及介质

权利要求书

1.一种数据读取方法，其特征在于，包括：

步骤S1，获取数据并利用微服务将所述数据存储到本地磁盘与ceph共享盘，其中，所述ceph共享盘利用分布式文件系统存储全量数据，所述本地磁盘存储部分数据由对应的微服务独享；

步骤S2，当微服务接收到查询请求时，判断每个pod的服务状态是否正常，当所述pod的服务状态正常时，分发所述查询请求到服务状态正常的Pod查询本地磁盘，汇总排序得到查询结果；当所述pod的服务状态异常时，查询ceph共享盘所对应服务状态异常pod相应的分区数据，汇总排序得到查询结果。

2.根据权利要求1所述的数据读取方法，其特征在于，还包括：监听后台服务的时间是否达到预设时间，当后台服务的时间达到预设时间时，检测微服务所对应的本地磁盘与ceph共享盘所存储的文件大小是否一致；当检测到本地磁盘与ceph共享盘所存储的文件大小不一致时，将ceph共享盘所对应的分区数据同步到本地磁盘；当检测到本地磁盘与ceph共享盘所存储的文件大小一致时，则不处理。

3.根据权利要求1所述的数据读取方法，其特征在于，所述步骤S1中还包括：

新建中间件kafka中对应的主题时，将每个主题分为60个分区；

启动微服务，调用微云接口确认该微服务预计启动的pods个数，每个微服务别名为pod0到pod(N-1),并计算每个pods对应的分区数量及编号，其中，N为大于1的自然数；

判断微服务所对应的本地磁盘内是否存在空余磁盘，如果存在空余磁盘时，则格式化该空余磁盘将pod挂载对应磁盘内，并根据所述ceph共享盘存储的数据同步到该磁盘；如果不存在空余磁盘时，则调用微云接口挂掉该pod，使其二次调度漂移到其他的服务器上；

解析微服务所对应的数据得到结构化数据与特征数据，所述结构化数据与特征数据的存储位置取决于中间件kafka的自身负载，所述中间件kafka存储结束后更新对应的分区的偏移量；

监听所述中间件kafka中对应的主题中的偏移量，当监测到所述偏移量不为最新偏移量时，根据内存的存储时间或存储量持久化处理数据，将所述数据存储到本地磁盘与ceph共享盘；当监测到所述偏移量为最新偏移量时，则不处理。

4.根据权利要求1所述的数据读取方法，其特征在于，还包括：检测到服务器或微服务异常挂掉且发生漂移时，创建pods并进行初始化，获取配置文件中需启动的pods数量；计算每个pod对应的分区并存储到ceph共享盘；判断当前服务器是否存在空余磁盘，如果当前服务器存在空余磁盘时，则将pod挂载到相应的磁盘；如果当前服务器不存在空余磁盘时，根据当前服务器挂掉的pod漂移向其他的节点实现pod挂载。

5.根据权利要求4所述的数据读取方法，其特征在于，所述将pod挂载到相应的磁盘的步骤，包括：

格式化当前所述空余磁盘，根据目录使用mount方法挂载到所述空余磁盘，根据pod与分区的对应关系，从ceph共享盘中获取相对应的数据，完成同步，实现服务初始化和状态更新。

6.根据权利要求4所述的数据读取方法，其特征在于，所述根据当前服务器挂掉的pod漂移向其他的节点实现pod挂载的步骤，包括：

检测ceph共享盘是否存在失败信息文件；如果不存在失败信息文件时，则调用微云接口获取微云节点数量与对应IP以及状态异常的IP，将状态异常的IP记录到异常IP列表内，将节点数量加一写入到创建的失败信息文件中，调用微云接口删除该服务使其漂移向其他的节点；如果存在失败信息文件时，则获取当前服务器IP并读取所述失败信息文件，判断所述当前服务器IP是否存在于所述失败信息文件内，如果所述当前服务器IP存在于所述失败信息文件内，则再次漂移向其他的节点，且不计数；如果所述当前服务器IP不存在于所述失败信息文件内，则根据当前微云集群的节点数量利用闲置的空余磁盘再次漂移向其他的节点。