[发明专利]一种数据处理方法、装置、设备和存储介质在审
| 申请号： | 201910846331.X | 申请日： | 2019-09-09 |
| 公开（公告）号： | CN110716928A | 公开（公告）日： | 2020-01-21 |
| 发明（设计）人： | 龚伟松;高敏;张慧霞;韦松松;徐玉莹;孙国川 | 申请（专利权）人： | 上海凯京信达科技集团有限公司 |
| 主分类号： | G06F16/215 | 分类号： | G06F16/215;G06F16/22;G06Q10/08 |
| 代理公司： | 11397 北京新知远方知识产权代理事务所(普通合伙) | 代理人： | 马军芳;刘玲 |
| 地址： | 200333 上海市普陀*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请实施例中提供了一种数据处理方法、装置、设备和存储介质，包括：获取待处理的物流数据；将所述物流数据按照新的表结构进行存储，生成原始表；所述新的表结构包括多个表征物流属性的字段；对所述原始表存储的所述物流数据中各字段下的数据执行第一清洗操作，得到第一中间表；其中，所述第一清洗操作包含以下一种或多种：数据去重操作、缺失值补充操作、多余数据清除操作和错误数据修正操作；对所述第一中间表存储的所述物流数据中指定字段下的数据进行第二清洗操作，得到最终表；所述第二清洗操作包括异常数据纠正操作。采用本申请中的方案，能够解决大数据中的异构和脏数据问题，为后续的大数据分析挖掘提供高质量的数据。 | ||
| 搜索关键词： | 清洗操作 物流数据 表结构 大数据 原始表 字段 存储 存储介质 错误数据 去重操作 数据清除 数据执行 异常数据 指定字段 数据处理 表存储 脏数据 物流 异构 申请 修正 挖掘 补充 纠正 分析 | ||
【主权项】：
1.一种数据处理方法，其特征在于，包括：/n获取待处理的物流数据；/n将所述物流数据按照新的表结构进行存储，生成原始表；所述新的表结构包括多个表征物流属性的字段；/n对所述原始表存储的所述物流数据中各字段下的数据执行第一清洗操作，得到第一中间表；其中，所述第一清洗操作包含以下一种或多种：数据去重操作、缺失值补充操作、多余数据清除操作和错误数据修正操作；/n对所述第一中间表存储的所述物流数据中指定字段下的数据进行第二清洗操作，得到最终表；所述第二清洗操作包括异常数据纠正操作。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海凯京信达科技集团有限公司，未经上海凯京信达科技集团有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910846331.X/，转载请声明来源钻瓜专利网。
