[发明专利]数据仓库环境中的语义分组数据的并行处理

摘要

公开了用于并行处理数据仓库环境中的语义分组数据的系统和方法。在数据仓库应用中生成具有多个记录的数据存储对象。向每个记录添加哈希值。该哈希值具有整数域，并且被均匀分布到跨越数据存储对象的整数域。生成选择表来基于该哈希值的多个离散范围创建多个任务。然后，在多个任务的每一个上并行执行转换例程来生成对应于哈希值的多个离散范围中的每个范围的数据的信息块。

主权项

1.一种计算机实现的方法，所述方法用于由应用层的数据仓库应用服务器利用任务来并行地处理数据，其中不同的任务并行地运行在所述数据仓库应用服务器上，其中每个任务处理包括与语义关键词相关联的多个数据记录的数据分组，其中每个数据分组是数据的子集，以及其中数据存储在数据库层的源系统中，所述方法包括：将应用专用表从所述源系统取回给运行在数据仓库应用服务器上的数据仓库应用的数据源；由数据仓库应用的一个或多个处理器从所述数据源生成数据存储对象，该数据存储对象具有多个记录；由所述一个或多个处理器添加哈希值到每个记录，该哈希值具有整数域，所述一个或多个处理器将哈希值均匀地分布到跨越数据存储对象的整数域，其中通过将哈希函数应用到语义关键词使得语义关键词的输入域被映射到整数域来生成哈希值；由所述一个或多个处理器生成选择表，以基于哈希值的多个离散范围创建多个任务，其中所述哈希值的多个离散范围中的每个范围提供用于生成信息块的特定数据分组；以及由所述一个或多个处理器在多个任务的每一个上并行地执行转换例程以生成多个数据的信息块，每个信息块对应于哈希值的离散范围的各个范围，其中执行转换例程包括识别通过生成对选择表的查找要开始的任务的数量，以及其中执行转换例程还包括多个任务中的每一个：利用所述一个或多个处理器从所述选择表中读取一个或多个选择标准；和利用所述一个或多个处理器根据所述选择标准从所述数据存储对象中读取数据。