[发明专利]在附接的高性能并行计算机上执行计算机密集型数据库用户定义的程序

说明书

技术领域

本发明总体上涉及数据库处理的性能增强，尤其涉及用于通过在附接的高性能并行计算机(HPC)系统上分配和执行查询工作流的计算密集型部分，来加速计算密集型数据库查询的系统和方法。

背景技术

本发明涉及用于通过在附接的高性能并行计算机(HPC)系统上分配和执行查询工作流的相关计算密集型部分，来加速数据库查询的系统和方法。

发明内容

本发明是出于观察到以下而得到动机：传统上已经应用于事务处理、在线分析和数据仓库的商业数据库，正日益应用于存储、查询和分析各种复杂数据类型(诸如文本、图像和多媒体)。商业数据库还正日益应用于处理来自科学仪器的原始事件流，或者应用于存储来自高性能计算机仿真的未处理结果集合(参见J.Becla和D.L.Wong的“Lessons Learned From Managing a Petabyte”，Conference OnInnovative Data Systems Research，Asilomar CA(2005))。

对数据库中存储为复杂数据类型的这种原始数据的相关分析，经常超出简单的归档和检索，而包括某些计算密集型操作和数据转换，其在关于这种数据的各种外部应用上通常很有用，诸如高级语义查询和搜索、基于内容的索引、复杂数据建模、数据挖掘分析和计算机辅助设计。可将这些计算密集型操作和数据转换实现为数据库扩展器内的嵌入式程序，该嵌入式程序包括通过这些复杂数据类型的用户定义的存储过程或者用户定义的函数的集合，这提供了原始的复杂数据类型到适用于复杂外部应用的表示的必要转换。由此，这些嵌入式数据库扩展器(可以由本领域技术专家来实现)通过利用熟悉的面向集合或者基于SQL的语法和用于调用转换的查询接口，来向外部应用开发人员提供用于在他们的应用中使用这些复杂数据类型的有关功能和转换。此外，在向客户端应用传输数据之前，通过借助于提供原始数据更为压缩的表示，或者通过对数据库服务器自身上的原始数据进行实质上的预过滤，嵌入式用户定义程序的使用通常减少将原始数据从数据库服务器跨越网络向客户端应用移动的开销。最终，嵌入式用户定义程序的使用通过向不需要拷贝或者与外部应用共享的原始数据提供“类似对象”接口，从而更易于确保数据库中原始数据的私有性、完整性和一致性。

然而，尽管上文给出了诸多优势，但是在数据库服务器上执行计算密集型用户定义的程序的相关联的处理需求可能是非常大的，并且在常规数据库性能基准中、或者在通用数据库服务器系统的硬件平台的设计和尺寸中，当前很少解决此方面的问题。