[发明专利]数据并行写入方法、系统和计算机可读介质

说明书

本发明提供了一种数据并行写入方法、系统和计算机存储介质。该方法包括以下步骤：接收待写入的原始数据；获取数据标识符；将原始数据分拆成多个子数组，并为每个子数组创建一个子线程；每个子线程获取一个数据库连接，并开启一个事务；在每个数据库连接中执行将对应的子数组写入数据库的操作，每个子数组对应一个子数组标识符和一个子数组状态，其中子数组标识符设置为数据标识符，子数组状态设置为未提交；当所有子线程都执行写入操作后，获取每个子线程对应的事务的事务状态；以及当所有子线程的事务状态都为成功时，执行全局提交操作，否则执行全局回滚操作。本发明可以在保障数据写入一致性的基础上提高大量数据写入的性能。

技术领域

本发明主要涉及数据库领域，尤其涉及一种数据并行写入方法、系统和计算机可读介质。

背景技术

在对数据库做大量的数据写入(Insert)的时候，为了保障数据库的事务一致性，通常的做法是将数据的写入操作放在一个事务(Transaction)中，通过串行机制来执行。但是使用串行机制进行大量数据写入时，尤其是需要写入超过10000条以上数据的时候，串行写入的性能较差。

现有的做法是通过数据的批量插入(Batch Insert)操作来处理大量数据写入，但其本质上还是串行处理，进行大量数据写入时的写入性能仍旧低下。

发明内容

本发明要解决的技术问题是提供一种数据并行写入方法，可以在保障数据写入一致性的基础上提高大量数据写入的性能。

为解决上述技术问题，本发明提供了一种数据并行写入方法，包括以下步骤：接收待写入的原始数据；获取数据标识符；将原始数据分拆成多个子数组，并为每个子数组创建一个子线程；每个子线程获取一个数据库连接，并开启一个事务；在每个数据库连接中执行将对应的子数组写入数据库的操作，每个子数组对应一个子数组标识符和一个子数组状态，其中子数组标识符设置为数据标识符，子数组状态设置为未提交；当所有子线程都执行写入操作后，获取每个子线程对应的事务的事务状态；以及当所有子线程的事务状态都为成功时，执行全局提交操作，否则执行全局回滚操作。

可选地，数据标识符在数据库中为唯一。

可选地，数据标识符是通用唯一识别码。

可选地，数据标识符是数据库自增标识符。

可选地，在执行全局提交操作时，将所有为数据标识符的子数组标识符设置为空值。

可选地，子数组写入数据库的操作是通过批量插入操作进行。

可选地，在将原始数据分拆成多个子数组前，还包括：根据处理器的核数和/或频率确定分拆的子数组的数量。

可选地，当子数组的子数组状态为未提交时，禁止其它程序对子数组进行操作。

可选地，全局提交操作包括：将所有子数组标识符为数据标识符的子数组的子数组状态设置为已提交。

可选地，全局回滚操作包括：将所有子数组标识符为数据标识符的子数组删除。

可选地，每个子线程获取一个数据库连接还可以包括：每个子线程在数据库连接池中获取一个数据库连接。

可选地，该方法还包括：将子数组标识符设置为索引。

本发明还提供了一种数据并行写入系统，包括：存储器，用于存储可由处理器执行的指令；以及处理器，用于执行所述指令以实现如上所述的方法。

本发明还提供了一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现如上所述的方法。

与现有技术相比，本发明具有以下优点：