[发明专利]一种数据处理方法和系统

说明书

技术领域

本申请涉及网络技术领域，特别是涉及一种数据处理方法和系统。

背景技术

随着网络的发展，用户也可在网络中查询其消费的电子账单，比如其使用某个银行的信用卡进行消费后的电子账单。电子账单对于用户的每一笔消费均进行记录，并进行展示。并且，在很多情况下，用户均需要将服务器的账单下载到用户所在用户端进行保存。

现有技术中：第一，用户在使用页面账单功能时，如果自定义的查询条件范围过大，搜索出来的业务数据总量也很大的话，系统生成下载账单文件的时间就会加长，系统无法在短时间内给出响应结果，毕竟，系统要实时访问数据库获取大量数据，并生成账单。用户在页面等待响应时，如果等待时间过长，则可能会使用户错误的以为请求失败，或者是否系统死机等问题，用户会再次重复点击发送下载请求，或者刷新页面的请求，使服务器在短时间内接收了大量下载请求或者刷新请求，而服务器需要对每个请求均进行处理，尤其当网络中存在大量需求下载包括大量数据的账单时，由于前述原因，则请求量可能会程几何级增加，则会大大增加系统的负载；并且给用户的体验很差。

第二，因为服务器在同一时间段内存在下载请求处理的限制，由于服务器对于大数据总量的处理时间长，当同一时间存在大量用户进行下载请求时，则可能导致服务器无法实时响应用户请求，从而陷入处理堵塞，造成系统的不稳定。

发明内容

本申请所要解决的技术问题是提供一种数据处理方法和系统，当用户下载大数据总量的账单时，将其下载请求进行异步处理，避免因用户长时间等待页面响应而可能导致的重复发送页面请求或大量刷新页面等情况，提升服务器资源的利用效率，降低系统的压力。

为了解决上述问题，本申请公开了一种数据处理的方法，包括：

接收用户端基于账单页面的账单下载请求；

解析所述账单下载请求中的查询信息，所述信息包括用户标识和账单查询条件信息；

依据所述账单查询信息获得在数据库中待下载的数据总量，并判断所述数据总量是否符合阈值条件；

当符合时，则暂停同步响应所述账单下载请求，基于所述用户标识和账单查询条件信息进入异步生成账单文件过程，并提示用户端延时进入下载文件存储区下载所述账单文件；

对于所述异步生成的账单文件，根据所述用户端标识将异步生成的账单文件转存至对应用户标识的下载文件存储区。

优选的，所述基于所述用户标识和账单查询条件信息异步生成账单文件包括：

基于所述用户标识和账单查询条件信息生成账单请求任务插入账单请求任务队列；

所述账单请求任务队列根据系统环境提取账单请求任务执行，生成相应的账单文件。

优选的，所述账单请求任务队列根据系统环境提取账单请求任务执行，生成相应的账单文件包括：

账单请求任务队列从账单请求任务队列中的账单请求任务管理队列中，提取排序靠前的账单请求任务中的SQL处理请求；

发送所述SQL处理请求至数据库，获取与所述用户标识和账单查询条件信息对应的各条账单数据；

基于所述各条账单数据生成对应的账单文件。

优选的，生成所述账单请求任务时包括：

查询用户标识对应的用户级别；

根据所述用户级别生成相应级别的账单请求任务；所述用户级别对应相应的处理优先级；

根据所述级别，将账单请求任务插入账单请求任务队列。

优选的，所述账单请求任务队列根据系统环境提取账单请求任务执行时包括：

分析系统当前系统处理账单请求任务请求时的负载情况；

在不超过系统负载阈值的条件下，根据负载情况提取相应个数的账单请求任务执行。

优选的，判断所述数据总量是否符合阈值条件包括：

当不符合时，则同步生成账单文件，响应所述账单下载请求。

优选的，根据所述用户端标识将异步生成的账单文件转存至对应用户标识的下载文件存储区包括：

记录所述账单文件在所述下载文件存储区的时间；

当所述时间超过阈值时，则清理相应账单文件。

优选的，当暂停同步响应所述账单下载请求，提示用户端延时进入下载文件存储区下载所述账单文件之后还包括：

对于同一用户端发送账单下载请求，判断各暂停同步响应的账单下载请求中是否存在所述账单下载请求相同的请求；

如果存在，则阻断账单下载请求，并提示用户端延时进入下载文件存储区下载所述账单文件。

相应的，本申请还公开了一种数据处理的系统，包括：