[发明专利]一种数据存储系统和上传、存储方法、装置、设备及介质

说明书

本发明实施例提供一种数据存储系统和上传、存储方法、装置、设备及介质，用以将数据文件在选择的分区服务器上传，提升上传速度，以及实现数据的结构化存储，节约存储空间。该系统包括：业务模块、任务分发管理模块、以及多个分区服务器，其中，业务模块，通过终端与用户交互，生成用户数据，并将生成的用户数据以数据包的形式发送至任务分发管理模块；任务分发管理模块，用于将接收到的数据包分割为多个数据文件，并基于自身所在位置选择分区服务器，将多个数据文件上传至分区服务器；分区服务器，用于在确定所有数据文件均上传完成时，将接收到的数据文件组合成数据包，并对数据包进行结构化存储。

技术领域

本发明涉及数据存储技术领域，尤其涉及一种数据存储系统和上传、存储方法、装置、设备及介质。

背景技术

随着网约车业务量的不断增加，除了固定的数据源，各种结构化和非结构化的数据在以指数级数量递增，随着数据存储的需求量快速加大，导致已有的存储单元和存储节点难以应对，由于部分业务数据为非结构化数据，存在着存储空间的无效占用，浪费存储空间，制约着网约车业务的发展。

发明内容

本发明实施例提供一种数据存储系统和上传、存储方法、装置、设备及介质，用以将数据文件在选择的分区服务器上传，提升上传速度，以及实现数据的结构化存储，节约存储空间。

根据本发明实施例的第一方面，提供一种数据存储系统，该系统包括：业务模块、任务分发管理模块、以及多个分区服务器，其中，

业务模块，通过终端与用户交互，生成用户数据，并将生成的用户数据以数据包的形式发送至任务分发管理模块；

任务分发管理模块，用于将接收到的数据包分割为多个数据文件，并基于自身所在位置选择分区服务器，将多个数据文件上传至分区服务器；

分区服务器，用于在确定所有数据文件均上传完成时，将接收到的数据文件组合成数据包，并对数据包进行结构化存储。

本发明实施例提供的数据存储系统，通过任务分发管理模块，将数据包分割后的多个数据文件，基于自身所在位置选择分区服务器并上传，避免由于数据包过大，在同一时刻内存占用过大，甚至溢出，导致程序闪退的情况，从而提高上传速度，同时，通过分区服务器在确定所有数据文件均上传完成时，将接收到的数据文件组合成数据包，并对数据包进行结构化存储，从而节约存储空间。

在一种可能的实施方式中，任务分发管理模块基于自身所在位置选择分区服务器，将多个数据文件上传至分区服务器，具体用于：

基于自身所在的位置，在多个分区服务器中确定用于接收数据包的第一分区服务器，将数据文件上传至第一分区服务器；

在将任一数据文件上传至第一分区服务器的过程中，若任务分发管理模块的位置发生变化、且确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至第一分区服务器的上传速度，则将该数据文件已上传至第一分区服务器的部分同步至第二分区服务器，并将该数据文件未上传的部分继续上传至第二分区服务器，删除第一分区服务器中该数据文件已上传的部分。

在一种可能的实施方式中，任务分发管理模块基于自身所在位置选择分区服务器，将多个数据文件上传至分区服务器，具体用于：

基于自身所在的位置，在多个分区服务器中确定用于接收数据包的第一分区服务器，将数据文件上传至第一分区服务器；

在将任一数据文件上传至第一分区服务器的过程中，若任务分发管理模块的位置发生变化、确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至第一分区服务器的上传速度、且该数据文件已上传部分大于预设比例阈值，则获取该数据文件上传所需的剩余上传时长；