[发明专利]一种基于TFIDF模型的积分系统数据脱敏方法和系统

说明书

本发明提供了一种基于TFIDF模型的积分系统数据脱敏方法和系统。在需要共享获取积分系统数据时，对获取数据进行基础分词处理，并调用TFIDF模型，基于关键词典的学习训练，对逐条分词进行相似度判断，超出设定阀值的，进行脱敏过滤处理，并将脱敏过滤后的数据进行输出共享。本发明方法和系统包括数据脱敏处理模块、TFIDF模型模块、数据词典模块和数据脱敏管理模块。

技术领域

本发明涉及互联网和人工智能技术领域，特别是涉及一种基于TFIDF模型的积分系统数据脱敏方法和系统。

背景技术

大多积分系统数据，源自客户在业务系统中各种价值行为（如注册、登录、购买支付、分享互动等）的量化折算和累积。这样的系统数据，汇聚了较多的客户基础信息（如客户手机号码、客户身份证、住址信息等）、支付信息（如客户各种互联网支付账号、银行账号等）、客户行为轨迹数据等。这些很多都是核心敏感隐私数据，而且这些敏感数据会随着业务不断发展，出现高频的增加和变化。积分系统数据经常需要与相关业务系统进行数据共享输出，如果按照传统固定字段过滤方法脱敏后输出的话，会涉及较多、较大的固定字段处理或系统升级的前置工作，且容易出现遗漏或者误判，结果数据脱敏共享的不彻底、不正确现象。

TFIDF模型是一种统计方法，用于信息检索与数据挖掘的常用加权技术，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度，近年来广泛应高频关键词的识别、统计与过滤场景，如人工智能场景中的用户关键词识别、提取。所以可以基于TF-IDF模型与原理，发明一种应用于积分系统数据脱敏的有效方法和系统。

发明内容

本发明提供了一种基于TFIDF模型的积分系统数据脱敏方法和系统。在需要共享获取积分系统数据时，对获取数据进行基础分词处理，并调用TFIDF模型，基于关键词典的学习训练，对逐条分词进行相似度判断，超出设定阀值的，进行脱敏过滤处理，并将脱敏过滤后的数据进行输出共享。本发明方法和系统包括数据脱敏处理模块、TFIDF模型模块、数据词典模块和数据脱敏管理模块。

1、数据脱敏处理模块：主要包括响应积分数据共享请求、脱敏初始化处理和脱敏执行过程。脱敏初始化处理，包括对获取的积分数据进行基础分词处理（包括数据词典模块中的停用词典、专用词典等处理），实现语义理解基础上的关键词分离。脱敏执行过程包括调用TFIDF模型，导入数据词典中的敏感词典进行学习训练，导入关键词进行向量分析处理，基于训练后的关键词识别与相似度判断等处理，将判断为敏感词的关键词进行过滤后的新积分数据进行共享输出。

2、TFIDF模型模块：主要基于统计方法及常用加权技术，导入数据词典模块中的敏感词典进行训练，导入关键词进行向量分析处理等。

3、数据词典模块：包括用作分词处理的停用词典、专用词典（专业术语类，避免分词错误），以及用于识别及脱敏处理的敏感词典。数据词典模块，接受数据脱敏管理模块的更新管理等。

4、数据脱敏管理模块：主要包括对敏感词相似度阀值（相似度判断参数）进行调整管理、数据词典中各类词典的增删改管理、更新等处理。

附图说明

图1为一种基于TFIDF模型的积分系统数据脱敏方法和系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明实施实例中，一种基于TFIDF模型的积分系统数据脱敏方法和系统，本发明方法和系统包括数据脱敏处理模块（1）、TFIDF模型模块（2）、数据词典模块（3）和数据脱敏管理模块（4）。