[发明专利]一种大字段数据处理方法、装置、设备及存储介质

说明书

本发明公开了一种大字段数据处理方法、装置、设备及存储介质。该方法包括：获取待插入数据；若所述待插入数据是大字段数据并且是行外数据，则获取所述待插入数据对应的大字段物理数据对象和所述大字段物理数据对象对应的列值数据对象；将所述列值数据对象插入数据库；根据所述大字段物理数据对象和所述大字段物理数据对象对应的列值数据对象对数据库中的数据进行更新、删除以及修改中任一种操作，通过本发明的技术方案，以实现能够提高插入大字段数据的效率，减少用户等待时间。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种大字段数据处理方法、装置、设备及存储介质。

背景技术

在数据库中，经常需要用到大字段类型，如oracle中long/blob/clob,sqlserver中text/image，mysql中的text/longtext/clob/blob。

存储的信息大概主要是两类，一类是长文本，如大段的文字，普通的varchar最长只能存储4000个汉字，已经不能满足要求；另一类是存储二进制信息，如上传的文件等。

影响一张表的查询速度的，除了行数，还包括表所占的物理空间的大小。此表在数据量较小时，在查询方面感觉不到明显的差异。但是如果文本内容字段所存储的数据都是大段文本或较大的文件时，会导致表的物理空间迅速变大，该字段所占用的空间有可能达到整表所占空间的90％以上。在此基础上，如果行数再增加到数十万、上百万级时，整个表所占的空间将达到一个惊人的数字。

保守估计，一条记录占用的空间平均为10K的话，一万条记录将占用100M的空间，一百万条记录将占用10G，在此表上的DML操作，亦将变慢，查询的速度亦会受到非常大的影响。当然通过提高服务器本身的硬件性能和优化索引，可以提高查询速度，但面对无法预知的巨大洪水，单纯加固堤坝是不保险的。

数据库中的大字段是常用的数据类型，且占用巨大的空间，在应用中，经常有大字段的复制操作，比如含大字段类型表的查询插入。这些操作会有大量的IO，耗时较长。

发明内容

本发明实施例提供一种大字段数据处理方法、装置、设备及存储介质，以实现能够提高插入大字段数据的效率，减少用户等待时间。

第一方面，本发明实施例提供了一种大字段数据处理方法，包括：

获取待插入数据；

若所述待插入数据是大字段数据并且是行外数据，则获取所述待插入数据对应的大字段物理数据对象和所述大字段物理数据对象对应的列值数据对象；

将所述列值数据对象插入数据库；

根据所述大字段物理数据对象和所述大字段物理数据对象对应的列值数据对象对数据库中的数据进行更新、删除以及修改中任一种操作。

第二方面，本发明实施例还提供了一种大字段数据处理装置，该大字段数据处理装置包括：

第一获取模块，用于获取待插入数据；

第二获取模块，用于若所述待插入数据是大字段数据并且是行外数据，则获取所述待插入数据对应的大字段物理数据对象和所述大字段物理数据对象对应的列值数据对象；

插入模块，用于将所述列值数据对象插入数据库；

操作模块，用于根据所述大字段物理数据对象和所述大字段物理数据对象对应的列值数据对象对数据库中的数据进行更新、删除以及修改中任一种操作。

第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的大字段数据处理方法。