[发明专利]一种静态数据脱敏方法及脱敏装置

说明书

本发明提供了一种静态数据脱敏方法及脱敏装置，支持SLM和UPM两种脱敏方式。其中SLM方式包括如下步骤：与源数据端建立连接，自动完成隐私全量发现；梳理、调整隐私发现结果；与目标数据端建立连接；创建脱敏任务，选择源数据端及目标数据端，配置脱敏参数；启动脱敏任务，实时监控数据脱敏执行情况。UPM方式仅处理隐私字段，脱敏效率更高。本发明基于流式处理、全程数据不落地，可自动发现隐私类型，支持同构/异构、脱敏过程自定义配置等，使得脱敏过程安全可控、且提升了效率和灵活度；并综合运用高仿真的脱敏算法和数据水印、反向脱敏等技术，保留了原始数据的业务价值，同时避免敏感信息泄露，实现脱敏结果可控、可追溯。

技术领域

本发明涉及数据脱敏技术领域，具体地讲，本发明涉及一种静态数据脱敏方法及脱敏装置。

背景技术

数据脱敏，指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。即在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则的情况下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。这样可以在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集。

根据数据脱敏应用场景的不同，分为静态数据脱敏和动态数据脱敏。静态数据脱敏适用于将数据抽取出生产环境脱敏后分发至测试、开发、培训、数据分析等场景，动态脱敏适用于不脱离生产环境，对敏感数据的查询和调用结果进行实时脱敏。

以往在数据量不大、应用场景较为简单的情况下，企业多是自己编写脱敏脚本，屏蔽敏感数据。随着应用系统、数据量的不断增加，人工的方式已不能满足信息安全的需求。随着信息安全要求的不断加强，进而出现了很多静态数据脱敏技术和方法，但现有技术多存在如下几方面的不足：

1)脱敏过程中数据落地，不安全。如果不能对脱敏过程做到有效保护，将依然会导致敏感数据的泄露；

2)隐私发现多依赖于人工识别或指定。该种方式一方面工作效率低，同时也存在遗漏、疏忽、刻意等原因导致的隐私类型未识别，从而导致敏感数据泄露；

3)脱敏速度有限，仅支持从源端到目标端的迁移式脱敏(SLM：Select-LoadMasking)，不支持源端自身更新式脱敏(UPM：Update Masking)。在对脱敏速度要求较高的场景下，迁移式脱敏由于实现原理的限制，往往不能达到很高的速度，而更新式脱敏由于机制的不同，可以实现高速脱敏；

4)脱敏算法简单，无法保证脱敏后数据的应用价值。脱敏不仅仅是数据变形，其需要保证变形后数据的测试、分析等使用价值。因此，需要做到：a)保持原有数据特征(如身份证号满足区域地址码(6位)、出生日期(8位)、顺序码(3位)和校验码(1位)的要求)；b)保持数据之间的一致性(如身份证信息脱敏后仍需要保证出生年月字段和身份证中包含的出生日期之间的一致性)；c)保持业务规则的关联性(如主、外键关联)；d)多次脱敏之间的数据一致性，相同的数据进行多次脱敏，或者在不同的测试系统进行脱敏，需要确保每次脱敏的数据始终保持一致性，只有这样才能保障业务系统数据变更的持续一致性以及广义业务的持续一致性。

5)脱敏灵活度低，使用方式和应用场景有限。体现在两个方面：a)体现在数据源类型的支持有限，比如，支持有限几种数据库类型(MySQL/Oracle/SQL Server/DB2等)，仅支持同构数据库、不支持异构数据库脱敏，仅支持数据库脱敏、不支持文件方式脱敏，不支持数据库-文件双向异构脱敏；b)脱敏全过程自定义配置有限，比如不支持自定义隐私类型，不支持白名单表、黑名单表、表内数据筛选、全局参数、局部参数，不支持任务执行参数优化调整(隐私类型参数动态调整，并行任务数等)，外部服务接口没有或有限(无法与第三方调度平台等整合，构建更加丰富的应用场景)。