[发明专利]数据湖复制

说明书

示例系统可以包括处理器和存储指令的非暂时性机器可读存储介质，所述指令可由处理器执行，以便：响应于事件来触发云函数以将数据从源数据湖复制到目的地数据湖；从云函数的执行角色来获得执行云函数的许可；以及认证目的地数据湖的角色，以准许将数据从源数据湖复制到目的地数据湖。

背景技术

数据湖可以包括可以存储非结构化数据的集中式数据储存库。例如，数据湖可以以其原始格式来存储原始数据，直到它被需要为止。存储在数据湖中的数据可以是出于各种目的的各种类型的分析的主题。数据湖中的数据可以对多个用户有用。由此，多个用户可能想要访问数据湖中的数据。数据安全性和保真度可能会影响被授予用户的访问权。

附图说明

图1图示了符合本公开的用于数据湖复制的系统的示例。

图2图示了符合本公开的用于数据湖复制的计算设备的示例。

图3图示了符合本公开的用于数据湖复制的非暂时性机器可读存储器和处理器的示例。

图4图示了符合本公开的用于数据湖复制的方法的示例。

具体实施方式

例如，设备制造商和/或软件开发商可以收集大量原始数据。例如，可以收集来自成千上万个设备或软件实例的日志。所收集的数据可以存储在数据湖中。

数据湖可以包括用于存储非结构化数据的数据储存库。例如，与可以包括关系数据库的数据仓库形成对照，数据湖可以包括以其原始和/或原生形式来保存大量数据的储存库。数据湖中的数据可以在没有当该数据被捕获时所定义的特定结构或模式的情况下被存储。

可以分析和/或利用数据湖中的数据，以系统性地发现和/或提取信息。例如，可以分析数据湖中的数据，以得出关于用作数据源的设备和/或软件的性能和/或改进的结论。在其他示例中，可以分析数据湖中的数据，以得出关于客户以及向他们销售什么产品的结论。

不同的用户可以利用数据湖中的数据来发现和/或提取特定于其目的的不同信息。由此，不同的用户可能希望访问数据湖的相同的数据和/或数据部分。

可以授予用户对数据湖的访问权以访问数据。然而，数据湖中的数据的一部分可能是不应当揭露给特定用户的数据。例如，收集了该数据的一方可能不被准许将个人身份信息（PII）暴露给第三方，该第三方出于其目的而利用数据湖中的数据。此外，一些用户可能出于其分析目的对数据做出修改（例如，添加、改变、删除、分类、标记、变换等）。此外，一些用户可能依赖于保持该数据的保真度。也就是说，一些用户可能依赖于该数据不被其他用户改变，以便保持他们的相应分析的有效性。由此，向多个用户提供访问权的数据湖可能会暴露不应当暴露给一些用户的敏感信息，并且可能通过将数据湖中的数据暴露给修改而危及该数据的保真度。相反地，来自数据湖的个体数据可以在劳动密集型过程中被手动选择，以手动拷贝到另一个存储器资源。

相比之下，符合本公开的示例可以包括一种用于跨数据湖和/或数据湖区域来复制数据的系统。通过利用跨账户角色认证来准许跨多个数据湖的自动对象级复制，符合本系统的示例可以提供高度可配置和安全的机制，以用于对数据湖中的数据的受控访问，而不会危及源数据的安全性和保真度。例如，符合本公开的示例可以包括一种系统，该系统包括处理器和非暂时性机器可读存储介质，该非暂时性机器可读存储介质用于存储可由处理器执行的指令，以便：响应于事件来触发云函数以将数据从源数据湖复制到目的地数据湖；从云函数的执行角色来获得执行云函数的许可；以及认证目的地数据湖的角色，以准许将数据从源数据湖复制到目的地数据湖。

图1图示了符合本公开的用于数据湖复制的系统100的示例。系统100的所描述组件和/或操作可以包括关于图2-图4而描述的所描述组件和/或操作，和/或与关于图2-图4而描述的所描述组件和/或操作互换。

系统100可以包括源数据湖102。源数据湖102包括数据存储位置。源数据湖102可以例如包括存储器和/或计算资源（诸如，云资源），以存储数据106。