[发明专利]用于在大数据集分析期间维持一致性的方法和装置

说明书

技术领域

本发明涉及用于分析大数据集的技术，更具体地，涉及用于对多维大 数据集有效地运行“假设”情境(“what if”scenario)的方法和装置。

背景技术

术语“数据管理软件”包括用于处理商业数据的大批方案，所述商业 数据处理可粗略地归为三类：联机事务处理(OLTP)、数据仓库和联机 分析处理(OLAP)。这些类的每个都具有某些优点和缺点，这在上述引 用的申请中已讨论。

简言之，OLTP涉及帮助并管理面向事务的应用的一类方案，通常用 于许多行业中的数据条目和检索事务，所述行业例如包括银行业、航空、 邮购、超市和制造业。将数据存储在系统中的OLTP系统的一个重要目标 是可容易地访问以确保高响应度。提供锁定机制也很重要，所述锁定机制 用以确保例如当个人预定了资源(例如航班座位)时，所述资源对于系统 中的其他人不再可用。因此，在OLTP系统中，将数据存储在不止一个地 方是不可取的，而是强调对不同表格进行联合处理以组合数据的高依赖 性。OLTP系统对实时事务处理十分有效，然而并不是特别适用于采用聚 集查询的报告功能，例如示出在特定航班上每月飞行多于两次的所有人。

数据仓库采用不同的数据模式，其更好地适用于支持相对复杂的报告 功能。然而，可能存在大量的数据复制。在OLTP环境中，这种复制不可 接受，因为对一份数据的修改将需要在数据仓库表中的多个地方而非仅在 单个位置对其进行复制。另一方面，从报告的角度来看数据仓库的优势在 于它允许创建并保存概要表，所述概要表聚集与可能对特定事务感兴趣的 查询相对应的信息，例如财务季度中特定路线的乘客量。虽然数据仓库系 统很完善地生成静态报告，但是它们不能有效地支持其中预先不知道问题 的数据分析。例如，销售经理可以查看静态报告并看到在特定月份中特定 产品的全国销量比预期低。然而，因为报告的静态本质，所以导致不足量 的原因可能是不明显的。在这样的情况下，销售经理希望能够深入数据以 判断例如是否存在可以用作解释的任何可确认差异(例如地域、时间 等)。这些类型的能力落入OLAP的范畴。

OLAP系统组织数据以允许自组织(ad hoc)类的分析，其将使得销 售经理能够集中关注可能解释在静态报告中识别出的差异的数据。这与十 分适用于检索细节数据而通常很难提供概要的OLTP方案形成了对照。 OLAP方法还与被需要用于维护极大量的概要表来复制这样的功能的数据 仓库方案形成了对照。OLAP方案的一个严重问题涉及它们通常仅适用于 批处理(与以近乎实时更新为特征的事务处理相对)的事实。因OLAP系 统的下层数据中存在大量高度互相相关的概要信息，对任一份细节数据进 行更新都往往有很大的计算量，因为在分级结构的许多不同级上的许多不 同概要通常需要被无效并重算。因此，大部分OLAP系统通常采用批重 算，而不支持数据的交互式更新。存在试图找到各种折衷以至少给出交互 式更新的外观的OLAP方案。例如，某些方案限制其上的数据集或索引， 从而使得其适合主存储器，然后在检索之后交互地重算所有的数据值。其 他方案采用脚本技术以在批处理之间隔离并更新数据的子集。然而，这些 方法只是部分地减轻了与更新多维数据集相关联的低效率。因此，虽然 OLAP系统在进行自组织数据查询以帮助识别并定位问题方面有效，但是 它们在理解作出改变所设计的东西以解决识别出的问题所需的自组织更新 或“假设”情境分析方面相对效率较低。

以上引用的专利申请描述了多种技术，通过使用这些技术，复杂的大 数据集可以被更高效地无效并重算以反映改变。在对大数据集的概要信息 进行维护时，与在这样的数据集中的分级数据的不同级数据块之间的相关 性校验相结合地采用改变日志(change logging)。因此，更新或重算下层 数据所需的时间更接近于是作出改变的次数的函数，而不是如大多数 OLAP方案那样是数据集的大小或维数的函数。此外，所描述的技术还允 许基本同时地利用同一下层数据集来运行多个“假设”情境。不同使用者 可以并行运行这些多个对等的情境。可替代地，单个使用者可具有多级情 境，也就是说基于父情境的结果的子情境，所述父情境和子情境在传统 OLAP域中目前均不可行。随着使用者“假设”情境的复杂性增大，存在 增长的如下需求：与传统OLAP系统能够实现的功能相比，能够执行改变 和更新的并且支持丰富分析的结构良好的系统。

发明内容