[发明专利]一种数据处理方法及装置

说明书

本发明提供一种数据处理方法及装置，所述方法包括：所述一致性服务模块接收所述VFS模块通过VFS接口发送的数据写入请求；所述一致性服务模块进行数据写入处理，并将数据写入结果返回给所述VFS模块，以使所述VFS模块通过所述VFS接口将所述数据写入结果返回给所述用户应用。应用本发明实施例可以在实现一致性服务的情况下，简化处理流程，提高处理效率，降低一致性服务的耦合度。

技术领域

本发明涉及分布式系统领域，尤其涉及一种数据处理方法及装置。

背景技术

随着IT(Information Technology，信息技术)行业的不断发展，大型网站，数据库，分布式计算，分布式存储等分布式系统已经成为IT行业发展的未来趋势。分布式协调服务(也可以称为一致性协调服务)在分布式系统中节点监控，分布式锁，分布式数据同步，变动通知等起到重要作用，是分布式系统的关键技术。

然而实践发现，目前常见的一致性协调服务主要包括hadoop(一种分布式系统架构)的zookeeper(一种分布式应用程序协调服务)服务或ceph(一种分布式文件系统)集群的monitor(监控器)服务，其需要专门部署zookeeper集群或monitor集群，且主机需要通过与zookeeper集群或monitor集群交互实现一致性协调服务，上述一致性协调服务的部署存在部署复杂，维护难度大而且效率低下的问题。

发明内容

本发明提供一种数据处理方法及装置，以解决现有一致性协调功能存在部署复杂，维护难度大而且效率低下的问题。

根据本发明的第一方面，提供一种数据处理方法，应用于分布式主机系统中的任一主机，所述主机安装有一致性服务模块和虚拟文件系统VFS模块，所述方法包括：

所述一致性服务模块接收所述VFS模块通过VFS接口发送的数据写入请求；其中，所述数据写入请求由所述VFS模块在接收到所述主机上的用户应用发起的数据写入请求时发送；

所述一致性服务模块进行数据写入处理，并将数据写入结果返回给所述VFS模块，以使所述VFS模块通过所述VFS接口将所述数据写入结果返回给所述用户应用。

结合第一方面，在第一种可能的实现方式中，所述一致性服务模块进行数据写入处理，并将数据写入结果返回给所述VFS模块，包括：

当所述一致性服务模块为跟随服务模块时，将所述数据写入请求发送给领导服务模块，由所述领导服务模块发起数据写入协商，并将数据写入结果返回给所述发送数据写入请求的一致性服务模块；

所述发送数据写入请求的一致性服务模块将所述数据写入结果返回给所述VFS模块；

当所述一致性服务模块为领导服务模块时，发起数据写入协商处理，并将数据写入结果返回给所述VFS模块。

结合第一方面，在第二种可能的实现方式中，所述一致性服务模块将写入的数据以文件的形式保存在文件目录中；其中，所述文件以文件名为键key，文件内容为值value的形式保存。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述文件目录包括永久性文件目录和临时性文件目录；

所述方法还包括：

当所述一致性服务模块接收到用户应用发起的针对临时性文件的写入请求时，所述一致性服务模块在所述临时性文件的文件名中记录该用户应用的进程名和进程号信息；

当所述一致性服务模块监控到该用户应用的进程退出时，查询与所述用户应用的进程名和进程号对应的临时性文件，并将查询到的临时性文件删除。

结合第一方面，在第四种可能的实现方式中，所述方法还包括：