[发明专利]数据预处理及下载方法、系统、计算机设备、可读存储介质

说明书

本发明公开了一种数据预处理及下载方法，涉及互联网技术领域，包括如下步骤：服务器加载各个客户端所需要的数据并生成相应的sqlite数据库；服务器对生成好的各sqlite数据库压缩；将压缩后的数据库文件上传到CDN中，并删除存放于服务器本地的sqlite数据库；客户端请求并获得压缩后的数据库文件，下载并解压。本发明所提供的方法降低客户端下载网络的消耗，减少下载的时间，提升用户体验，同时减缓服务器实时处理数据的压力。

【技术领域】

本发明涉及互联网技术领域，具体涉及一种数据预处理及下载方法、系统、计算机设备、可读存储介质。

【背景技术】

现有技术中，客户端，包括苹果手机/平板、安卓手机/平板、windows应用程序，为了提升使用体验，在一些场景下，比如网络数据不需要很实时的情况下，去掉网络的请求，以加快页面的展示。这通常需要提前循环请求接口，针对数据进行格式转换，最后存在本地数据库中，当数据拉取接口完毕后，打开页面只需要读取数据库中的内容即可。但是，现有技术所采用的的方法具有如下缺陷：

在数据量非常大的时候，会有很长的等待时间，不仅浪费网络的流量也降低用户的体验；依赖于服务器的性能，在流量高峰期，服务器性能会有所下降，这时候拉取的接口将会更加的慢。

【发明内容】

为解决前述问题，本发明提供了一种数据预处理及下载方法，降低客户端下载网络的消耗，减少下载的时间，提升用户体验，同时减缓服务器实时处理数据的压力。

为了达到上述目的，本发明采用如下技术方案：

一种数据预处理及下载方法，包括如下步骤：

服务器加载各个客户端所需要的数据，基于不同客户端所需要的数据生成相应的数据库；

服务器对生成好的各数据库分别进行压缩处理，形成与数据库相对应的待用文件；

将所有待用文件上传到CDN中；

客户端在有数据需求时请求服务器的接口，以获得相应的待用文件的CDN下载地址；

客户端下载待用文件并对待用文件进行解压。

可选的，服务器生成数据库后，开启数据库的WAL模式，进行写入。

可选的，已经生成过数据库的客户端所需要的数据，服务器沿用已经生成的数据库，将所需要的数据增量写入已经生成的数据库。

可选的，服务器对各数据库执行checkpoint后，对生成好的各数据库分别进行7z压缩处理。

可选的，将所有待用文件上传到CDN以后，删除存放于服务器本地的数据库。

可选的，待用文件包括对应的数据库的版本号，客户端请求服务器的接口时附带对应的数据库的版本号，服务器根据数据库的版本号寻找对应的待用文件，向客户端提供对应的待用文件的CDN下载链接。

可选的，所述数据库为sqlite数据库。

本发明所提供的方法具有如下有益效果：

1.节省客户端的流量：采用本发明所提供的方法下载数据时用户使用App所需要的流量，与采用现有技术下载数据时用户使用App所需要的流量二者相比显著减少；

2.节省服务器的压力：采用本发明所提供的方法，因为数据提前准备好并缓存在CDN中，所以几乎不需要经过服务器来获取数据。

3.降低数据库的损坏率：现有技术在客户端生成数据库时，会经常因断电或者App进程被中止而导致数据库损坏率较高，采用本发明所提供的方法，因为客户端下载了服务器生成的sqlite数据库，所以数据库的损坏率也得到改善。