[发明专利]一种文本数据的清洗方法、系统及可读存储介质在审
| 申请号： | 201910440449.2 | 申请日： | 2019-05-24 |
| 公开（公告）号： | CN110222176A | 公开（公告）日： | 2019-09-10 |
| 发明（设计）人： | 魏树桂;左赛;陈兵;闫振河;赵楠 | 申请（专利权）人： | 苏宁易购集团股份有限公司 |
| 主分类号： | G06F16/35 | 分类号： | G06F16/35;G06F16/33;G06Q30/06;G06F17/27 |
| 代理公司： | 江苏圣典律师事务所 32237 | 代理人： | 许峰 |
| 地址： | 210042 江苏省*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种文本数据的清洗方法、系统及可读存储介质。本发明通过对筛选出的一部分商品标题数据的处理构建白名单，而后根据白名单的规则对全部商品标题数据进行过滤进而产生用于修正白名单中疑难数据的黑名单并更新白名单，如此对黑名单和白名单进行迭代以致最终获得符合要求的训练模型样本数据，输出该数据。本发明通过多次对白名单和黑名单的迭代，能够使得用于过滤的窗口规则更佳准确，使得输出的训练模型数据的覆盖度和准确度约达到95％，远高于现有技术。本发明的迭代方法，其能够减少获取训练模型样本数据过程中人工参与的工作量，因而速度更快。 | ||
| 搜索关键词： | 训练模型 迭代 可读存储介质 标题数据 文本数据 样本数据 过滤 清洗 准确度 人工参与 输出 覆盖度 构建 工作量 筛选 修正 更新 | ||
【主权项】：
1.一种文本数据的清洗方法，用于处理商品标题数据，其特征在于，步骤包括：处理商品标题数据中的一部分数据以构建白名单；对全部商品标题数据进行过滤；根据过滤所得的数据，更新所述白名单和/或创建黑名单；根据所述白名单和/或黑名单重复上述过滤的步骤并进一步更新所述白名单或创建黑名单，直至过滤后获得符合要求的训练模型样本数据，输出该数据。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于苏宁易购集团股份有限公司，未经苏宁易购集团股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910440449.2/，转载请声明来源钻瓜专利网。
