[发明专利]经由基数估计的有效联结路径确定

说明书

诸如超级重对数等概率计数结构可以在有关选择的一组列中的每一个的表格扫描期间形成。所述列可以基于初始相关性估计选择，所述初始相关性估计可能基于所述各自列的数据类型。列的交集或并集的估计的基数可以基于所述概率数据结构的交集形成。联结路径可以基于所述列的交集或并集的所述估计的基数确定。

相关申请的交叉引用

本申请要求于2014年12月22日提交的美国专利申请No.14/578,841的利益，所述美国专利申请的公开内容以引用的方式整体并入本文中。

背景技术

数据仓库和在线分析处理(“OLAP”)系统可能包括允许分析查询的自动生成的各种工具。在一些情况下，这些工具可能依赖于用户提供有关将分析的数据的结构的各种细节。然而，提供该信息可能是参与的过程。在其它情况下，工具可以使用明确定义的模式信息诸如主键和外键关系自动地生成分析查询。然而，即使未明确定义，在分析上有用的关系可能仍然存在。可能还存在分析工具的用户不知道的分析上有用的关系。

附图说明

当结合附图进行阅读时，以下详述可以更好地理解。出于说明的目的，附图中示出本公开的方面的各种示例，然而本发明并不限于公开的特定方法和手段。

图1是描绘用于通过使用概率计数结构以估计两个列内的字段重合从而识别联结关系的系统和过程的实施方案的框图。

图2是描绘基于使用基数估计计算的估计的字段重合对两个列之间的联结路径进行识别的框图。

图3描绘用于计算概率计数结构的交集和并集的过程。

图4描绘用于使用概率计数结构识别联结路径的过程的实施方案。

图5描绘用于识别多个列中的两个之间的联结路径的过程的实施方案。

图6是描绘可以实践本公开的方面的计算环境的实施方案的框图。

图7是描绘可以实践本公开的方面的计算系统的实施方案的框图。

具体实施方式

本公开的方面可以被采用以识别可以用于在事务数据上执行分析操作的联结关系。联结关系可以用于各种目的，诸如用于生成分析查询。在一些情况下，联结关系可以用于生成可用于执行分析的分层。

本公开的实施方案可以利用诸如超级重对数(hyperloglog)等概率数据结构来识别列之间的联结关系。实施方案可以为每一潜在相关的列生成概率数据结构，其中初始相关性估计可能基于诸如共同的数据类型等因素。实施方案可以基于两个或多个概率数据结构的交集或基于交集的并集估计列值之间的重合。然后可以将列值之间的重合用作用于识别列之间的联结关系的依据。

概率数据结构可能包括与诸如近似法或随机化等各种统计技术有关的那些结构，以估计集合的基数。数据集的基数可能指代集合内的截然不同的值的数量。概率数据结构的示例包括与超级重对数、重对数(loglog)以及布隆过滤器技术有关的那些。术语超级重对数、重对数、最小哈希以及布隆过滤器可以用于指代对应于所述技术的结构。

概率数据结构可能包括若干桶。每一桶可能对应于数据流的细分并且可能包含有关细分内的估计的基数的信息。所述数据流可以基于多种准则进行细分。在一些情况下，所述细分可能是基本上随机的，在这种情况下桶可能对应于数据集的基本上随机的部分。这例如当数据流使用某些哈希函数进行细分时可能是如此情况。在其它情况下，细分可能基于诸如键范围等非随机准则。

通常来说，可以通过扫描大的(且在一些情况下非常大的)数据集获得数据流。概率数据结构可以被用于以存储器使用高效的方式估计大数据集的基数。然而，基数估计的准确度可能取决于数据流中的细分的数量和概率数据结构中的对应桶的数量。