[发明专利]一种适配大数据平台的分布式文件系统访问方法及装置

说明书

本发明公开了一种适配大数据平台的分布式文件系统访问方法、装置、设备及计算机可读存储介质，其中该方法包括：启动挂载点维护进程，利用所述挂载点维护进程挂载所述分布式文件系统的挂载点，并指示所述挂载点维护进程维护所述挂载点对应的挂载点信息；接收大数据平台发送的访问请求，所述访问请求为所述大数据平台需要实现对所述分布式文件系统的访问时发送的；在所述访问请求的触发下将所述挂载点维护进程维护的挂载点信息发送至所述大数据平台，以供所述大数据平台基于所述挂载点信息实现所述分布式文件系统的访问。利用挂载点维护进程适配大数据平台的访问步骤，大大提高了大数据平台访问分布式文件系统时的访问效率。

技术领域

本发明涉及云计算数据中心技术领域，更具体地说，涉及一种适配大数据平台的分布式文件系统访问方法、装置、设备及计算机可读存储介质。

背景技术

大数据时代，各行各业时时刻刻都在产生海量多样的数据，数据正在成为一种生产资料，对于挖掘行业新的经济增长点大有益处，大数据已经成为行业发展新的推动力。在海量数据场景下，传统数据库技术已无法满足其海量存储、高效处理和实时挖掘数据潜在价值的要求，大数据软件平台Hadoop(本申请中可建成为大数据平台)应运而生，应用最广。但是作为Hadoop平台存储系统HDFS存在两个重大缺点：a)不具备纠删码的数据冗余方式，数据利用率低；b)数据分块一般设置为64MB或128MB，无法高效存储大量的小文件。因此目前很多应用场景使用其他可以解决这两个重大缺点的分布式文件系统取代HDFS适配Hadoop大数据软件平台，适配架构如附图1所示。

如附图1所示，大数据平台每次访问分布式文件系统时，都要进行分布式文件系统的挂载(mount)，执行完具体访问请求后，再次进行分布式文件系统的卸载(unmount)，效率很低。

综上所述，现有技术中大数据平台访问分布式文件系统的技术方案中存在效率较低的问题。

发明内容

本发明的目的是提供一种适配大数据平台的分布式文件系统访问方法、装置、设备及计算机可读存储介质，以解决现有技术中大数据平台访问分布式文件系统的技术方案中存在的效率较低的问题。

为了实现上述目的，本发明提供如下技术方案：

一种适配大数据平台的分布式文件系统访问方法，包括：

启动挂载点维护进程，利用所述挂载点维护进程挂载所述分布式文件系统的挂载点，并指示所述挂载点维护进程维护所述挂载点对应的挂载点信息；

接收大数据平台发送的访问请求，所述访问请求为所述大数据平台需要实现对所述分布式文件系统的访问时发送的；

在所述访问请求的触发下将所述挂载点维护进程维护的挂载点信息发送至所述大数据平台，以供所述大数据平台基于所述挂载点信息实现所述分布式文件系统的访问。

优选的，启动挂载点维护进程之后，还包括：

利用所述挂载点维护进程加载所述分布式文件系统的Linux so动态库，供所述大数据平台获取所述Linux so动态库中的动态库文件并基于所述动态库文件实现所述分布式文件系统的访问。

优选的，接收大数据平台发送的访问请求，包括：

接收大数据平台利用接口适配器的IP Socket接口发送的访问请求。

优选的，指示所述挂载点维护进程维护所述挂载点对应的挂载点信息之后，还包括：

在确定所述大数据平台及所述分布式文件系统将停止使用时，将利用所述挂载点维护进程挂载的挂载点卸载，并停止所述挂载点维护进程的运行。

优选的，指示所述挂载点维护进程维护所述挂载点对应的挂载点信息之后，还包括：