[发明专利]大数据处理优化方法、装置、终端及存储介质

权利要求书

1.一种大数据处理优化方法，其特征在于，所述方法包括：

当接收到任务处理指令时，根据所述任务处理指令中携带的任务的属性及存储地址从存储服务器中获取所述任务对应的数据表单；

启动主线程判断所述数据表单中的数据是否正确；

当确定所述数据表单中的数据正确时，通过所述主线程逐行读取所述数据表单中的数据；

当侦测到所述主线程读取了预设行数的数据时，对应启动一个子线程，并将所述预设行数的数据分发给所述子线程；

控制所述子线程根据预设解析规则对所述主线程对应读取的所述预设行数的数据进行解析处理；

当侦测到所有子线程完成解析处理后，通过所述主线程对每个子线程的解析结果进行汇总得到最终的解析结果。

2.如权利要求1所述的方法，其特征在于，所述启动主线程判断所述数据表单中的数据是否正确包括：

判断所述数据表单中的数据的字段是否存在缺失；

当所述数据表单中的数据的字段不存在缺失时，则按照预设的匹配规则判断所述数据表单中的数据的字段与预先存储的名单模板中的数据字段是否匹配；

当所述数据表单中的数据的字段与预先存储的名单模板中的数据字段匹配时，确定所述数据表单中的数据正确；

当所述数据表单中的数据的字段存在缺失，或者所述数据表单中的数据的字段不存在缺失，但所述数据表单中的数据的字段与预先存储的名单模板中的数据字段不匹配时，确定所述数据表单中的数据错误。

3.如权利要求1所述的方法，其特征在于，所述控制所述子线程根据预设解析规则对所述主线程对应读取的所述预设行数的数据进行解析处理包括：

控制所述子线程将所述主线程对应读取的所述预设行数的数据与预设员工名单表中的数据进行匹配；

将匹配出的相同的员工名单从所述预设行数的数据中进行删除，得到第一数据表单；

控制所述子线程将所述第一数据表单与预设黑名单表中的数据进行匹配；

将匹配出的相同的黑名单从所述第一数据表单中进行删除，得到第二数据表单；

控制所述子线程将所述第二数据表单与预设去重名单表中的数据进行匹配；

将匹配出的相同的去重名单从所述第二数据表单中进行删除，得到第三数据表单。

4.如权利要求1所述的方法，其特征在于，在通过所述主线程对每个子线程的解析结果进行汇总得到最终的解析结果之后，所述方法还包括：

根据所述任务的属性与预设数据库标识之间的对应关系，将所述结果存储于对应所述任务的属性的存储服务器的数据库表中。

5.如权利要求1所述的方法，其特征在于，在侦测所述子线程进行解析处理的过程中，所述方法还包括：

侦测是否有子线程发生异常事件；

当侦测到有子线程发送异常事件时，将发生异常事件的子线程解析处理后的数据进行删除；

终止其他子线程的解析任务。

6.如权利要求5所述的方法，其特征在于，在所述终止其他子线程的解析任务之后，所述方法还包括：

预先设置定时任务的启动时间；

在满足所述启动时间时，启动所述定时任务删除预设时间段内的所述解析任务失败对应的解析结果。

7.如权利要求1至6中任意一项所述的方法，其特征在于，若确定所述数据表单中的数据不正确时，所述方法还包括：

显示解析失败。