[发明专利]基于影子计算的数据处理装置及方法

说明书

本申请涉及大数据技术领域，特别涉及一种基于影子计算的数据处理装置及方法，其中，装置包括：影子系统，用于创建逻辑业务主题和逻辑业务主题对应的数据脱敏任务，并通过逻辑业务主题接收原始数据，且根据数据脱敏任务对原始数据进行脱敏操作，得到至少一个脱敏数据；数据安全网关，用于将至少一个脱敏数据推送至目标消费系统，并接收目标消费系统基于至少一个脱敏数据反馈的数据同步申请请求和数据同步回调接口的注册请求，且进行核验审批，并在核验审批后，创建数据同步任务。由此，解决了数据无法自动转发及数据转发过程中无法进行安全审批等问题，实现数据的自动化脱敏，保证数据合理合规地被高效利用。

技术领域

本申请涉及大数据技术领域，特别涉及一种基于影子计算的数据处理装置及方法。

背景技术

在汽车电动化、智能化发展的今天，车载设备上报的数据体量越来越大，数据种类也越来越丰富。随着数字化的发展，数据的应用范围越来越广，伴随着数据安全法规的制定及实施，数据的安全性问题也在不断制约着数据的使用。

相关技术中，数据转发都是将加工后的数据通过数据转发平台以消息的形式或是以接口的形式推送到下游，即传统的数据网关都是将数据通过线下申请，定制化开发的方式将数据进行推送。

然而，该方法的整个响应周期较慢，且线上线下脱节，对于推送的内容安全无法进行审计审批，无法保证数据合理合规地被业务高效利用，亟待解决。

发明内容

本申请提供一种基于影子计算的数据处理装置及方法，以解决数据无法自动转发及数据转发过程中无法进行安全审批等问题，从而实现数据的自动化脱敏，保证数据合理合规地被高效利用。

本申请第一方面实施例提供一种基于影子计算的数据处理装置，包括：

影子系统，用于创建逻辑业务主题和所述逻辑业务主题对应的数据脱敏任务，并通过所述逻辑业务主题接收原始数据，且根据所述数据脱敏任务对所述原始数据且进行脱敏操作，得到至少一个脱敏数据；

数据安全网关，用于将所述至少一个脱敏数据推送至目标消费系统，并接收所述目标消费系统基于所述至少一个脱敏数据反馈的数据同步申请请求和数据同步回调接口的注册请求进行核验审批，并在核验审批后，创建数据同步任务。

根据本申请一个实施例，所述影子系统包括：

影子通道管理组件、影子计算引擎和数据通道介质；其中，

所述影子通道管理组件用于创建所述逻辑业务主题和所述逻辑业务主题对应的数据脱敏任务；

所述影子计算引擎用于基于预设的flink的实时脱敏数据处理策略，对根据所述数据脱敏任务对所述原始数据进行脱敏操作，得到至少一个脱敏数据；

所述数据通道介质为基于kafka的数据总线。

根据本申请一个实施例，所述影子系统包括：

第一安全组件，用于根据当前数据安全需求生成对应的数据安全策略，以使得所述影子计算引擎基于所述数据安全策略，根据所述数据脱敏任务对所述原始数据报文进行脱敏操作。

根据本申请一个实施例，所述逻辑业务主题包括入站主题和出站主题，其中，

所述入站主题用于接收所述原始数据，所述出站主题用于输出所述脱敏数据。

根据本申请一个实施例，所述数据安全网关，包括：

第二安全组件，用于根据当前同步需求生成对应的同步安全策略；

数据同步任务管理模块，用于接收所述至少一个脱敏数据，并基于所述同步安全策略同步所述至少一个脱敏数据后发送至目标消费者；