[发明专利]一种大数据组件编排可靠性的检测方法、系统及相关组件

说明书

本申请公开了一种大数据组件编排可靠性的检测方法，所述检测方法包括获取平台配置参数并根据平台配置参数构建大数据平台；确定大数据平台的映射关系；其中，映射关系为物理机、虚拟机、大数据组件和磁盘的映射关系，磁盘用于存储大数据组件的数据副本；根据映射关系判断同一大数据组件的所有数据副本是否均存储在同一物理机中；若是，判定大数据平台的组件编排方案未通过可靠性检测。本方法能够对大数据组件进行合理编排，避免单物理机故障带来的数据丢失。本申请还公开了一种大数据组件编排可靠性的检测系统、一种计算机可读存储介质及一种电子设备，具有以上有益效果。

技术领域

本发明涉及大数据平台技术领域，特别涉及一种大数据组件编排可靠性的检测方法、系统、一种计算机可读存储介质及一种电子设备。

背景技术

大数据平台可以包括大数据组件和物理资源平台。在大数据平台引入虚拟化之后，物理资源平台和虚拟化平台一起封装成云计算平台，当前的大数据平台由大数据组件和云计算平台组成。大数据组件是提供大数据服务的基础单元，包括HDFS，Yarn，HBase等。每个大数据组件中又可以包含多个大数据组件单元，如HDFS中包含Datanode和Namenode两个组件单元。

在IT领域，故障域通常是指集体受故障影响的一组服务器、存储和/或网络连接组件。在虚拟化环境中一个有多个虚拟机的物理机，也可以视为是一个故障域。部署在云计算平台上的大数据组件，基本都是以虚拟机的方式部署，这样可以最大化利用物理机的资源，同时也可以提供更多的大数据服务。但是传统的大数据组件的故障域设计是基于物理机的，所以部署到虚拟化平台后，会把虚拟机当作物理机。从而使得基于物理机设计的故障域变成了基于虚拟机设计的故障域，无法得知大数据组件工作所依赖的物理机，这样就会存在单物理机故障会造成数据丢失的问题。

因此，如何对大数据组件进行合理编排，避免单物理机故障带来的数据丢失是本领域技术人员目前需要解决的技术问题。

发明内容

本申请的目的是提供一种大数据组件编排可靠性的检测方法、系统、一种计算机可读存储介质及一种电子设备，能够对大数据组件进行合理编排，避免单物理机故障带来的数据丢失。

为解决上述技术问题，本申请提供一种大数据组件编排可靠性的检测方法，该检测方法包括：

获取平台配置参数并根据平台配置参数构建大数据平台；

确定所述大数据平台的映射关系；其中，所述映射关系包括第一子映射关系和第二子映射关系，所述第一子映射关系为所述大数据平台中物理机、虚拟机和大数据组件三者之间的映射关系，所述第二子映射关系为所述物理机、所述虚拟机和所述大数据组件三者分别与磁盘的映射关系，所述磁盘用于存储所述大数据组件的组件数据；

根据映射关系判断同一大数据组件的所有数据副本是否均存储在同一物理机中；

若是，判定大数据平台的组件编排方案未通过可靠性检测。

可选的，在判定大数据平台的组件编排方案未通过可靠性检测之后，还包括：

根据机架感知限制调整所述映射关系，以使任意大数据组件的数据副本部署在N台物理机上；其中，N为大于1的整数。

可选的，在获取平台配置参数并根据平台配置参数构建大数据平台之后，还包括：

根据映射关系判断相同的大数据组件是否部署在同一物理机的虚拟机中；

若是，则判定大数据平台的组件编排方案未通过可靠性检测。

可选的，还包括：

当相同的大数据组件部署在同一物理机的虚拟机中时，调整物理机、虚拟机和大数据组件的映射关系，以使任意一类相同的大数据组件部署在M台物理机上；其中，M为大于1的整数。