[发明专利]一种数据清洗方法及系统在审
| 申请号： | 201811636284.8 | 申请日： | 2018-12-29 |
| 公开（公告）号： | CN109783813A | 公开（公告）日： | 2019-05-21 |
| 发明（设计）人： | 徐汕;张晶亮;黄文锋;姜桥;单酉;杨端;卫未 | 申请（专利权）人： | 北京航天云路有限公司 |
| 主分类号： | G06F17/27 | 分类号： | G06F17/27;G06F16/215 |
| 代理公司： | 北京纽乐康知识产权代理事务所(普通合伙) 11210 | 代理人： | 白明珠 |
| 地址： | 100039 北京市海淀区西*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 行业数据 分词 不规则 数据清洗 标准化处理 标准行业 算法模型 易用性 清洗 | ||
1.一种数据清洗方法，其特征在于，包括以下步骤：
获取不规则的行业数据；
利用CRF算法模型将所述行业数据进行分词；
计算不同所述分词之间的Jaccard距离，根据计算后的分词对应标准行业数据。
2.根据权利要求1所述的数据清洗方法，其特征在于，所述步骤2中利用CRF算法模型将所述行业数据进行分词包括：
将所述行业数据进行CRF训练；
预处理训练后的所述行业数据；
针对预处理后的行业数据作为模型的输入，获取分词集合。
3.根据权利要求1所述的数据清洗方法，其特征在于，所述行业数据包括Org1和Org2。
4.根据权利要求3所述的数据清洗方法 ，其特征在于，当所述Org1和所述Org2均不为空时，如果Org1=Standard1，Org2≠Standard2，将Org2 和Standard2分别通过所述CRF算法模型进行分词并去除停用词，分别记为集合A和集合LIST(B)，计算所述集合A与所述集合LIST(B)中每个集合的Jaccard距离，挑选最小所述Jaccard距离对应的标准二级行业分类Min，则返回（Org1, Min）。
5.根据权利要求4所述的数据清洗方法，其特征在于，如果Org1≠Stadard1，Org2≠Standard2，将Org1与Org2连接后通过CRF算法模型进行分词并去除停用词，记为集合A；将Stadard1和Standard2进行字符串连接后通过所述CRF算法模型进行分词并去除停用词，每个行业数据得到集合LIST(B)，计算所述集合A与集合LIST(B)中每个集合的Jaccard距离，挑选最小Jaccard距离对应的标准一级行业分类Min1和标准二级行业分类Min2，则返回（Min1, Min2）。
6.根据权利要求3所述的数据清洗方法，其特征在于，当Org1不为空，Org2为空时，如果Org1≠Standard1且Org1≠Standard2，将Org1通过CRF算法模型进行分词并去除停用词，记为集合A；将Standard1和Standard2进行字符串连接后通过CRF算法模型进行分词并去除停用词，每个行业数据得到集合LIST(B)，计算集合A与集合LIST(B)中每个集合的Jaccard距离对应的标准一级行业分类Min1和标准二级行业分类Min2，返回（Min1, Min2）。
7.根据权利要求3所述的数据清洗方法，其特征在于，当Org2不为空，Org1为空时，如果Org2≠Standard1且Org2≠Standard2，将Org2通过CRF算法模型进行分词并去除停用词，记为集合A；将Standard1和Standard2进行字符串连接后通过CRF算法模型进行分词并去除停用词，每个行业数据得到集合LIST(B)，计算集合A与集合LIST(B)中每个集合的Jaccard距离，挑选最小Jaccard距离对应标准一级行业分类Min1和标准二级行业分类Min2，则返回（Min1, Min2）。
8.一种数据清洗系统，其特征在于，包括：
获取模块，用于获取不规则的行业数据；
分词处理，用于利用CRF算法模型将所述行业数据进行分词；
计算模块，用于计算不同所述分词之间的Jaccard距离，根据计算后的分词对应标准行业数据。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京航天云路有限公司，未经北京航天云路有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201811636284.8/1.html，转载请声明来源钻瓜专利网。
