[发明专利]一种文件上传方法、装置、电子设备及存储介质

说明书

本发明公开了一种文件上传方法、装置、电子设备及存储介质，用于解决现有的自动驾驶数据文件异步离线上传时存在数据倾斜的技术问题。本发明包括：当接收到车载终端的上传请求时，从上传请求中提取待上传文件的标签组合；计算标签组合的使用率；根据标签组合的使用率计算待上传文件的综合优先级，并将综合优先级发送至车载终端；接收车载终端基于综合优先级上传的待上传文件。本发明通过计算待上传文件的标签组合在存储服务器上的使用率，来计算待上传文件的综合优先级，从而使得车载终端能够根据综合优先级来对待上传文件进行上传，实现使用率高的文件优先上传的技术效果，避免了文件上传时产生数据倾斜的情况。

技术领域

本发明涉及数据传输技术领域，尤其涉及一种文件上传方法、装置、电子设备及存储介质。

背景技术

海量自动驾驶数据的上传由于需要节省车上的计算资源，往往使用异步离线上传的方式，在有限上传带宽的情况下无法保证所有数据都能传输完成。

常规的方法是将文件按标签分类，根据人工定下的不同类别的优先级进行上传调整。

然而，这种方案将会导致数据倾斜的问题：低优先级的数据遭到大量丢弃，后续偶尔需要使用时发现数据量偏少，需要人工反复调整优先级；高优先级的数据大量上传，但可能最终使用的次数并不多或量级并不大，浪费大量存储空间。

发明内容

本发明提供了一种文件上传方法、装置、电子设备及存储介质，用于解决现有的自动驾驶数据文件异步离线上传时存在数据倾斜的技术问题。

本发明提供了一种文件上传方法，应用于存储服务器，所述存储服务器与车载终端通信，所述方法包括：

当接收到所述车载终端的上传请求时，从所述上传请求中提取待上传文件的标签组合；

计算所述标签组合的使用率；

根据所述标签组合的使用率计算所述待上传文件的综合优先级，并将所述综合优先级发送至所述车载终端；

接收所述车载终端基于所述综合优先级上传的所述待上传文件。

可选地，所述计算所述标签组合的使用率的步骤，包括：

获取所述标签组合对应的所有目标存储文件；

统计所有所述目标存储文件的第一总使用次数；

统计所述存储服务器上所有已存储文件的第二总使用次数；

采用所述第一总使用次数和所述第二总使用次数计算所述标签组合的使用率。

可选地，所述标签组合含有至少一个标签；所述获取所述标签组合对应的所有目标存储文件的步骤，包括：

分别获取包含有任意一个所述标签组合中的标签的待统计存储文件；

获取每个所述待统计存储文件的文件名；

根据所述文件名对所有所述待统计存储文件进行去重，得到所述标签组合对应的所有目标存储文件。

可选地，所述统计所有所述目标存储文件的第一总使用次数的步骤，包括：

通过倒排索引获取每个目标存储文件的使用次数；

对所有目标存储文件分别对应的使用次数进行求和，得到所有目标存储文件的第一总使用次数。

可选地，所述统计所述存储服务器上所有已存储文件的第二总使用次数的步骤，包括：

通过倒排索引获取所述存储服务器上所有已存储文件的使用次数；

对所有已存储文件分别对应的使用次数进行求和，得到所有已存储文件的第二总使用次数。