[发明专利]一种数据记录标识方法和装置

说明书

本发明涉及一种数据记录标识方法和装置，其中，方法包括：步骤(1)：读取数据源当前行；步骤(2)：基于所述数据源当前行，生成唯一UQID字符串；步骤(3)：读取数据源下一行，并重复所述步骤(2)至步骤(3)的过程直至数据源的所有行均被读取完，得到各个行对应的唯一UQID字符串；步骤(4)：读取数据源各个行对应的数据内容，并在数据源各个行对应的数据内容中增加各个行的唯一UQID字符串。本发明能够生成具有反向解读功能的唯一UQID字符串。

技术领域

本发明涉及大数据处理技术领域，特别是涉及一种数据记录标识方法和装置。

背景技术

众所周知，当今信息化生活中，数据信息对社会的生产、生活具有重要意义，随着人们对数据信息的逐步重视，不断涌现新兴技术使得各种数据的产生、传输、存储等方面得到重要保障，但仍存在诸多问题。

现有生成唯一字符串的公共方法包括各类数据库函数唯一ID生成方法、程序UUID函数生成方法等，并且各类公共方法生成的唯一字符串可反向解读性较差，无法提供反向解读数据处理时生成的唯一字符串的内容。

在数据处理流程中，由于数据源分布在各类系统中，无法做到完全统一规范，很多数据无法携带统一的标记位，因此在数据处理过程中，较难定位有问题的数据源。对于数据源的定位至关重要，因此亟需构建一种具有反向解读功能的唯一字符串。

发明内容

本发明所要解决的技术问题是提供一种数据记录标识方法和装置，能够生成具有反向解读功能的唯一UQID字符串。

本发明解决其技术问题所采用的技术方案是：提供一种数据记录标识方法，包括：

步骤(1)：读取数据源当前行；

步骤(2)：基于所述数据源当前行，生成唯一UQID字符串；

步骤(3)：读取数据源下一行，并重复所述步骤(2)至步骤(3)的过程直至数据源的所有行均被读取完，得到各个行对应的唯一UQID字符串；

步骤(4)：读取数据源各个行对应的数据内容，并在数据源各个行对应的数据内容中增加各个行的唯一UQID字符串。

所述步骤(2)具体包括：

步骤(21)：读取所述数据源当前行时间生成的时间戳；

步骤(22)：生成所述数据源当前行时间对应的n位数据随机数；

步骤(23)：读取所述数据源当前行时间对应的线程ID编号；

步骤(24)：读取所述数据源中的字符标记，并根据所述时间戳、n位数据随机数、线程ID编号和字符标记进行拼接，得到字符串数据，并将所述字符串数据作为当前行的唯一UQID字符串。

所述步骤(21)具体为：读取所述数据源当前行以毫秒为单位的时间，并将所述以毫秒为单位的时间转换为13位数字类型的时间戳。

所述步骤(1)还包括：将读取的数据源当前行对应的数据内容缓存至内存中。

所述步骤(4)中的读取数据源各个行对应的数据内容，具体为：从所述内存中读取数据源各个行对应的数据内容。

本发明解决其技术问题所采用的技术方案是：提供一种数据记录标识装置，包括：

读取模块，用于读取数据源当前行；

当前行的唯一UQID字符串生成模块，用于基于所述数据源当前行，生成唯一UQID字符串；

所有行的唯一UQID字符串生成模块，用于读取数据源下一行，并重复所述当前行的唯一UQID字符串生成模块至所有行的唯一UQID字符串生成模块的过程，直至数据源的所有行均被读取完，得到各个行对应的唯一UQID字符串；