[发明专利]一种数据库快速加载数据的方法、装置、设备和介质

说明书

本发明公开了一种数据库快速加载数据的方法，包括：根据数据块的使用情况将数据块分为空闲数据块、部分写入数据块和已写满数据块；将空闲数据块和部分写入数据块中的空闲空间的起始地址分别写入状态记录表中；响应于数据加载开始后查询到状态记录表中存在空闲数据块，读取空闲数据块的起始地址并将数据写入到起始地址对应的空闲空间；响应于数据加载开始后查询到状态记录表中不存在空闲数据块但存在部分写入数据块，读取部分写入数据块的起始地址并将数据写入到起始地址对应的空闲空间，数据加载完成后相应地改变状态记录表中数据块的使用情况。本发明还公开了一种装置、设备和介质。本发明实现了数据库的快速加载入库，降低了数据入库时间。

技术领域

本发明涉及数据库技术领域，更具体地，特别是指一种数据库快速加载数据的方法、装置、设备和介质。

背景技术

现阶段，数据库在加载数据时，需要先从数据表存储数据的初始位置进行顺序扫描，扫描到数据块空闲的位置时才开始插入数据，同样第二条数据的插入也是如此，所有数据的插入需要反复扫描数据表中的空闲位置，这样寻找空闲位置占用了数据加载入库的大量时间。对大批量数据加载时的效率影响非常大。同时，数据插入时需要同时向redo日志中进行相应数据插入，索引也需要进行相关维护，也同样增加了数据加载入库的时间，对大批量数据加载时的效率影响非常大。

发明内容

有鉴于此，本发明实施例的目的在于提供一种数据库快速加载数据的方法、装置、设备和介质，可以实现数据表的数据快速加载入库，可以极大降低数据入库时间。

基于上述目的，本发明一方面提供了一种数据库快速加载数据的方法，该方法包括：数据库实时扫描每个数据块，并根据数据块的使用情况将数据块分为空闲数据块、部分写入数据块和已写满数据块；将空闲数据块和部分写入数据块中的空闲空间的起始地址分别写入状态记录表中；响应于数据加载开始后查询到状态记录表中存在空闲数据块，读取空闲数据块的起始地址并将数据写入到起始地址对应的空闲空间，并相应改变状态记录表中数据块的使用情况；响应于数据加载开始后查询到状态记录表中不存在空闲数据块但存在部分写入数据块，读取部分写入数据块的起始地址并将数据写入到起始地址对应的空闲空间，并相应改变状态记录表中数据块的使用情况。

在本发明的数据库快速加载数据的方法的一些实施方式中，该方法还包括：对数据加载设置并行参数，以及响应于数据加载，读取并行参数并获取与并行参数相同数量的起始地址，并且针对该与并行参数相同数量的起始地址同时进行数据写入。

在本发明的数据库快速加载数据的方法的一些实施方式中，该方法还包括：响应于数据加载过程中一个数据块被写满，在状态记录表中查找下一个空闲空间的起始地址并继续写入数据。

在本发明的数据库快速加载数据的方法的一些实施方式中，该方法还包括：响应于查询到状态记录表中不存在空闲数据块也不存在部分写入数据块，停止数据加载并反馈数据库已满信息。

在本发明的数据库快速加载数据的方法的一些实施方式中，该方法还包括：将数据库配置为在数据加载过程中关闭状态记录表的日志写功能。

在本发明的数据库快速加载数据的方法的一些实施方式中，该方法还包括：将数据库配置为在数据加载过程中关闭状态记录表的索引功能。