[发明专利]大数据处理优化方法、装置、终端及存储介质在审
| 申请号： | 201910834086.0 | 申请日： | 2019-09-04 |
| 公开（公告）号： | CN110765113A | 公开（公告）日： | 2020-02-07 |
| 发明（设计）人： | 刘丽珍;李琳 | 申请（专利权）人： | 深圳壹账通智能科技有限公司 |
| 主分类号： | G06F16/215 | 分类号： | G06F16/215;G06F16/22;G06F16/2455;G06F9/46 |
| 代理公司： | 44334 深圳市赛恩倍吉知识产权代理有限公司 | 代理人： | 刘丽华 |
| 地址： | 518052 广东省深圳市前海深港合作区前*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种大数据处理优化方法，所述方法包括：当接收到任务处理指令时，根据任务的属性及存储地址获取数据表单；启动主线程判断数据表单中的数据是否正确；当正确时，通过主线程逐行读取数据表单中的数据；当主线程读取了预设行数的数据时，对应启动一个子线程，并将预设行数的数据分发给所述子线程；控制所述子线程根据预设解析规则对所述主线程对应读取的所述预设行数的数据进行解析处理；当侦测到所有子线程完成解析处理后，通过所述主线程对每个子线程的解析结果进行汇总得到最终的解析结果。本发明还提供了一种大数据处理优化装置、终端及存储介质。本发明通过能够减少数据库中冗余的数量，提高处理器在解析数据时的处理能力。 | ||
| 搜索关键词： | 子线程 主线程 预设行数 读取 解析处理 解析结果 数据处理 主线程判断 存储地址 存储介质 解析规则 解析数据 任务处理 数据分发 优化装置 逐行读取 冗余 处理器 预设 侦测 数据库 指令 终端 优化 | ||
【主权项】：
1.一种大数据处理优化方法，其特征在于，所述方法包括：/n当接收到任务处理指令时，根据所述任务处理指令中携带的任务的属性及存储地址从存储服务器中获取所述任务对应的数据表单；/n启动主线程判断所述数据表单中的数据是否正确；/n当确定所述数据表单中的数据正确时，通过所述主线程逐行读取所述数据表单中的数据；/n当侦测到所述主线程读取了预设行数的数据时，对应启动一个子线程，并将所述预设行数的数据分发给所述子线程；/n控制所述子线程根据预设解析规则对所述主线程对应读取的所述预设行数的数据进行解析处理；/n当侦测到所有子线程完成解析处理后，通过所述主线程对每个子线程的解析结果进行汇总得到最终的解析结果。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳壹账通智能科技有限公司，未经深圳壹账通智能科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910834086.0/，转载请声明来源钻瓜专利网。
