[发明专利]一种基于canal实现数据脱敏的方法

说明书

本发明公开了一种基于canal实现数据脱敏的方法，包括master、binlog、slave、canal和脱敏框架，所述的master连接binlog，所述的binlog分别连接slave和canal并进行表达式过滤，所述的canal连接脱敏框架，所述的脱敏框架连接slave。本发明与现有技术相比的优点在于：降低技术难度、节约成本、实时脱敏。

技术领域

本发明涉及数据脱敏技术领域，具体是指一种基于canal实现数据脱敏的方法。

背景技术

随着数据挖掘的兴起，数据仓库的建设，数据安全扮演着重要角色，一旦出现隐私或其他敏感数据泄露，会对数据主体(客户，员工和公司)的财产、名誉、人身安全、以及合法利益造成严重损害。数据脱敏是解决这一问题的有效途径，目前业内尽管有了非常多的数据脱敏方案，不过大多存在着技术门槛高、费用高昂、操作困难的情况。

发明内容

本发明的目的是克服以上的技术缺陷，提供一种基于canal实现数据脱敏的方法，降低技术难度、节约成本、实时脱敏。

为解决上述技术问题，本发明提供的技术方案为：一种基于canal实现数据脱敏的方法，包括master、binlog、slave、canal和脱敏框架，所述的master连接binlog，所述的binlog分别连接slave和canal并进行表达式过滤，所述的canal连接脱敏框架，所述的脱敏框架连接slave。

本发明与现有技术相比的优点在于：本发明在现有的mysql数据源基础上，实现数据库的主从分离，使用canal对需要脱敏的数据进行脱敏处理后同步至从库，最后使用从库做为数据分析的基础数据源，技术门槛低，mysql主从，实时性强，数据插入、更新实时更新，不必离线，无商业费用，mysql和canal均为开源产品，应用公司脱敏指标灵活调整，且支持自定义扩展，丰富的扩展功能：如定时触发、自动邮件发送、三方接口通知。

进一步的，所述的slave包括普通数据和脱敏数据。

进一步的，所述的binlog向普通数据进行表达式过滤。

进一步的，所述的脱敏框架包括canal客户端封装、脱敏管道和数据库写入，所述的客户端封装连接脱敏管道，所述的脱敏管道连接数据库写入，所述的数据库写入连接脱敏数据。

进一步的，所述的脱敏管道包括脱敏处理1、脱敏处理2、脱敏处理3、、、、脱敏处理n，所述的脱敏处理1至脱敏处理n按顺序依次连接。

附图说明

图1是本发明的数据脱敏方案的逻辑实现示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

一种基于canal实现数据脱敏的方法，包括master、binlog、slave、canal和脱敏框架，所述的master连接binlog，所述的binlog分别连接slave和canal并进行表达式过滤，所述的canal连接脱敏框架，所述的脱敏框架连接slave。

所述的slave包括普通数据和脱敏数据。

所述的binlog向普通数据进行表达式过滤。

所述的脱敏框架包括canal客户端封装、脱敏管道和数据库写入，所述的客户端封装连接脱敏管道，所述的脱敏管道连接数据库写入，所述的数据库写入连接脱敏数据。

所述的脱敏管道包括脱敏处理1、脱敏处理2、脱敏处理3、、、、脱敏处理n，所述的脱敏处理1至脱敏处理n按顺序依次连接。

本发明在具体实施时，1.确定要进行脱敏的mysql数据源及详细表、字段；

2.确定脱敏规则，可以根据管道过滤器模式组合使用；