[发明专利]一种原始数据处理方法在审
| 申请号： | 201611110520.3 | 申请日： | 2016-12-02 |
| 公开（公告）号： | CN108153793A | 公开（公告）日： | 2018-06-12 |
| 发明（设计）人： | 安西民;林殷;徐凤桐 | 申请（专利权）人： | 航天星图科技（北京）有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30;G06F21/62 |
| 代理公司： | 北京安博达知识产权代理有限公司 11271 | 代理人： | 徐国文 |
| 地址： | 101399 北京市顺义区国*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种原始数据处理方法，该方法应用于原始数据处理系统中，该系统包括多个原始数据源，多个数据收集单元，集群存储器，原始数据处理平台，数据管理器，客户端；该原始数据处理方法能够对原始数据进行去重复，去矛盾，去不合理处理，基于数据记录相似度进行数据记录的去重复处理，基于置信度选择数据记录作删除处理，提高了数据去重复的准确度和效率，减少了人为参与的工作量，提高了自动化程度，从而提高了客户端用户的用户体验。 | ||
| 搜索关键词： | 原始数据处理 数据记录 数据收集单元 集群存储器 客户端用户 数据管理器 原始数据源 准确度 删除处理 选择数据 用户体验 原始数据 重复处理 客户端 相似度 置信度 重复 工作量 自动化 记录 矛盾 | ||
【主权项】：
一种原始数据处理方法，其特征在于，该方法包括如下步骤：步骤1：原始数据处理平台对数据集合中的所有数据进行格式内容的标准化处理；步骤2：原始数据处理平台去除数据记录中存在的明显不合理字段值和一条数据记录中存在明显矛盾的字段值；步骤3：原始数据处理平台对数据集合进行缺失补全；步骤4：原始数据处理平台找出相似重复的数据以便去重。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于航天星图科技（北京）有限公司，未经航天星图科技（北京）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201611110520.3/，转载请声明来源钻瓜专利网。
- 上一篇：一种数据处理方法和相关装置
- 下一篇：页面缓存数据刷新方法、装置及系统
