[发明专利]一种原始数据处理方法在审
| 申请号： | 201611110520.3 | 申请日： | 2016-12-02 |
| 公开（公告）号： | CN108153793A | 公开（公告）日： | 2018-06-12 |
| 发明（设计）人： | 安西民;林殷;徐凤桐 | 申请（专利权）人： | 航天星图科技（北京）有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30;G06F21/62 |
| 代理公司： | 北京安博达知识产权代理有限公司 11271 | 代理人： | 徐国文 |
| 地址： | 101399 北京市顺义区国*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 原始数据处理 数据记录 数据收集单元 集群存储器 客户端用户 数据管理器 原始数据源 准确度 删除处理 选择数据 用户体验 原始数据 重复处理 客户端 相似度 置信度 重复 工作量 自动化 记录 矛盾 | ||
1.一种原始数据处理方法，其特征在于，该方法包括如下步骤：
步骤1：原始数据处理平台对数据集合中的所有数据进行格式内容的标准化处理；
步骤2：原始数据处理平台去除数据记录中存在的明显不合理字段值和一条数据记录中存在明显矛盾的字段值；
步骤3：原始数据处理平台对数据集合进行缺失补全；
步骤4：原始数据处理平台找出相似重复的数据以便去重。
2.根据权利要求1所述的原始数据处理方法，其特征在于，原始数据处理平台计算两条数据记录之间的相似度，如果相似度小于第一相似度阈值，则认为该两条数据记录是重复数据；。
3.根据权利要求2所述的原始数据处理方法，其特征在于，根据该两条数据记录的置信度选择一条数据记录进行删除。
4.根据权利要求1‐3任意一项所述的原始数据处理方法，其特征在于，原始数据处理平台还包括登录模块，客户端用户可以通过该登陆模块对该原始数据处理平台进行远程登录。
5.根据权利要求4所述的原始数据处理方法，其特征在于，登录模块包括一图形用户界面，用户通过该图形用户界面进行登录。
6.根据权利要求5所述的原始数据处理方法，其特征在于，客户端通过用户帐号和密码进行登录。
7.根据权利要求5所述的原始数据处理方法，其特征在于，登录模块中关联保存所有用户帐号及其对应的密码和权限。
8.根据权利要求5所述的原始数据处理方法，其特征在于，不同的用户可以通过不同的客户端登录，登陆后的用户可以访问权限范围内的数据。
9.根据权利要求5所述的原始数据处理方法，其特征在于，不同的用户具有不同的权限。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于航天星图科技（北京）有限公司，未经航天星图科技（北京）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201611110520.3/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种数据处理方法和相关装置
- 下一篇：页面缓存数据刷新方法、装置及系统
