[发明专利]经由分布式计算机网络的协作数据集整合

说明书

各种实施例大体上涉及数据科学与数据分析、计算机软件及系统以及有线及无线网络通信，以提供不同数据集的存储库与寻求对所述数据集的存取的基于计算机器的实体之间的接口，且更明确地说，涉及计算与数据存储平台，所述计算与数据存储平台促进一或多个数据集的整合，借此使协作数据层及相关联逻辑促进例如对协作数据集的高效存取及协作数据集的实施。在一些实例中，一种方法可包含：将表示查询的数据接收到协作数据集整合系统中；识别与所述查询相关的数据集；产生一或多个查询以存取不同数据存储库；及检索表示查询结果的数据。在一些情形中，将一或多个查询应用(例如，作为联合查询)于存储于一或多个经原子化数据存储区中的经原子化数据集，所述一或多个经原子化数据存储区中的至少两者可不同。

技术领域

各种实施例大体上涉及数据科学与数据分析、计算机软件及系统以及有线及无线网络通信，以提供不同数据集的存储库与寻求对所述数据集的存取的基于计算机器的实体之间的接口，且更明确地说，涉及计算与数据存储平台，所述计算与数据存储平台促进一或多个数据集的整合，借此使协作数据层及相关联逻辑促进例如对协作数据集的高效存取。

背景技术

计算硬件及软件的进步推动了大量数据的产生的指数增长，此归因于在众多领域中增加的计算与分析，例如在各种科学与工程学科中，以及在将数据科学技术应用于努力做善事(例如，人道主义、环境、医学、社会等领域)中。此外，常规数据存储技术的进步提供了存储越来越大量的所产生数据的能耐。因此，传统数据存储与计算技术产生了众多孤立数据集的现象，所述数据集已达到了传统数据存取与分析技术通常不适合评估常规数据集的大小(例如，包含数万亿千兆字节的数据)及复杂性。

用于实施数据集的常规技术通常依赖于不同计算平台及系统、不同数据库技术以及不同数据格式，例如CSV、HTML、JSON、XML等。此外，已知数据分布技术不适合实现数据集当中的互通性。因此，许多典型数据集为仓库或以其它方式作为“数据孤岛”驻存于常规数据存储区中，所述数据孤岛描述通常不兼容或不足以促进数据互通性的孤立数据系统及数据集。此外，企业产生的数据集通常可驻存于数据孤岛中以保持商业优势，但企业产生的数据集中的一些数据集的共享可几乎不提供商业劣势，且反之，如果被无私地共享则可能提供公共利益。另外，由于有限的计算与数据系统资源，且在发表(举例来说)杂志及其它学术研究论文之前为保持机密性，学术界产生的数据集通常也可驻存于数据孤岛中。虽然研究人员可使其数据在发表之后可获得，但数据及数据集的形式不适合存取及与其它数据源一起实施。

提供数据集产生与管理的常规方法在运行时具有若干其它缺点。举例来说，个人或组织(例如非营利组织)通常具有有限资源及技能来操作传统计算与数据系统，因而妨碍了其对否则可能提供巨大利益的信息的存取。此外，数据集的创建者往往是出于有限目的而创建，且一旦创建数据集，与数据源及建构数据集的方式相关的知识便丢失。在其它实例中，一些常规方法提供远程数据存储(例如，基于“云”的数据存储)以收集不同格式的数据存储库，然而，这些方法不适合充分地解决数据集产生与管理的传统技术的缺点。

因此，需要一种用于促进产生、定位及存取数据集的不具有常规技术的限制的技术的解决方案。

附图说明

在以下详细说明及附图中揭示本发明的各种实施例或实例(“实例(examples)”)：

图1是根据一些实施例的描绘协作数据集整合系统的图式；

图2是根据一些实施例的描绘经原子化数据点的实例的图式；

图3是根据一些实施例的描绘对协作数据集执行查询操作的流程图的实例的图式；

图4是根据一些实例的描绘协作数据集整合系统的实例的操作的图式；

图5是根据一些实施例的描绘执行协作数据集整合系统的操作的流程图的图式；

图6是根据一些实施例的描绘数据集分析器及推理引擎的实例的图式；