[发明专利]大数据处理优化方法、装置、终端及存储介质

说明书

本发明提供了一种大数据处理优化方法，所述方法包括：当接收到任务处理指令时，根据任务的属性及存储地址获取数据表单；启动主线程判断数据表单中的数据是否正确；当正确时，通过主线程逐行读取数据表单中的数据；当主线程读取了预设行数的数据时，对应启动一个子线程，并将预设行数的数据分发给所述子线程；控制所述子线程根据预设解析规则对所述主线程对应读取的所述预设行数的数据进行解析处理；当侦测到所有子线程完成解析处理后，通过所述主线程对每个子线程的解析结果进行汇总得到最终的解析结果。本发明还提供了一种大数据处理优化装置、终端及存储介质。本发明通过能够减少数据库中冗余的数量，提高处理器在解析数据时的处理能力。

技术领域

本发明涉及数据处理技术领域，具体涉及一种大数据处理优化方法、装置、终端及存储介质。

背景技术

在任何一个应用系统中，几乎不可避免的要对数据进行解析。比如，当要将百万短信发送至百万名单中时，需要先对百万名单进行解析落库，从百万名单中删除公司内部员工的名单、公司黑名单库中的名单及已经发送过短信的用户的名单等。

传统的解析方案中，将数据逐个上传并逐个进行解析，随着时间的增长，需要解析的数据也会越来越多，而数据又不能删除，导致在数据处理过程中，读取数据库中的数据请求变得非常慢，严重影响了名单数据的上传效率，并进而导致解析效率低；尤其是当一次性创建了多条短信发送任务时，可能还会导致服务器崩溃。

因此，如何快速的对大数据进行解析，成为了亟待解决的技术问题。

发明内容

鉴于以上内容，有必要提出一种大数据处理优化方法、装置、终端及存储介质，能够减少数据库中冗余的数量，提高处理器在解析数据时的处理能力，通过将解析结果存储于与任务的ID对应的数据库表中，加快了数据落库的速度，提高数据的读取速度和查询效率。

本发明的第一方面提供一种大数据处理优化方法，所述方法包括：

当接收到任务处理指令时，根据所述任务处理指令中携带的任务的属性及存储地址从存储服务器中获取所述任务对应的数据表单；

启动主线程判断所述数据表单中的数据是否正确；

当确定所述数据表单中的数据正确时，通过所述主线程逐行读取所述数据表单中的数据；

当侦测到所述主线程读取了预设行数的数据时，对应启动一个子线程，并将所述预设行数的数据分发给所述子线程；

控制所述子线程根据预设解析规则对所述主线程对应读取的所述预设行数的数据进行解析处理；

当侦测到所有子线程完成解析处理后，通过所述主线程对每个子线程的解析结果进行汇总得到最终的解析结果。

优选的，所述启动主线程判断所述数据表单中的数据是否正确包括：

判断所述数据表单中的数据的字段是否存在缺失；

当所述数据表单中的数据的字段不存在缺失时，则按照预设的匹配规则判断所述数据表单中的数据的字段与预先存储的名单模板中的数据字段是否匹配；

当所述数据表单中的数据的字段与预先存储的名单模板中的数据字段匹配时，确定所述数据表单中的数据正确；

当所述数据表单中的数据的字段存在缺失，或者所述数据表单中的数据的字段不存在缺失，但所述数据表单中的数据的字段与预先存储的名单模板中的数据字段不匹配时，确定所述数据表单中的数据错误。

优选的，所述控制所述子线程根据预设解析规则对所述主线程对应读取的所述预设行数的数据进行解析处理包括：

控制所述子线程将所述主线程对应读取的所述预设行数的数据与预设员工名单表中的数据进行匹配；