[发明专利]短时数据写库的实现方法、系统及电子设备

说明书

本发明公开了短时数据写库的实现方法、系统及电子设备，该方法包括如下步骤：步骤SS1：按业务需求计划算费模型进行集合组装，生成计费结果集合；步骤SS2：解析所述计费结果集合，放入内存队列；步骤SS3：从所述内存队列中自旋拉取队列数据；步骤SS4：根据所述队列数据，创建访问令牌连接数据库；步骤SS5：算费集合多数据源批量归档；步骤SS6：判断任务归还令牌；步骤SS7：建立量费异常任务归集容器。本发明是基于流控的回写机制采用了异步非阻塞的工作方式，规避了回写集合之间的同步阻塞问题，灵活的批量回写机制，有效提升了量费计算的数据处理与数据写库性能。

技术领域

本发明涉及一种短时数据写库的实现方法、系统及电子设备，属于电力系统信息技术领域。

背景技术

在面向多业务、高效计费的发展趋势上，以往的应用程序在处理大数据存在写入缓慢、阻塞的问题，此发明基于此问题提出了一种基于流控工作方式的短时数据写库的实现方法，采用了异步非阻塞的工作方式，业务模型和模型、表与表之间的组装，规避了回写集合之间的同步阻塞方案。

发明内容

本发明的目的在于，克服现有技术存在的技术缺陷，解决上述技术问题，提出基于流控工作模式的短时数据写库的实现方法及系统。

本发明采用如下技术方案：短时数据写库的实现方法，包括如下步骤：

步骤SS1：按业务需求计划算费模型进行集合组装，生成计费结果集合；

步骤SS2：解析所述计费结果集合，放入内存队列；

步骤SS3：从所述内存队列中自旋拉取队列数据；

步骤SS4：根据所述队列数据，创建访问令牌连接数据库；

步骤SS5：算费集合多数据源批量归档；

步骤SS6：判断任务归还令牌；

步骤SS7：建立量费异常任务归集容器。

作为一种较佳的实施例，所述步骤SS1具体包括：

基于一个业务单元的外键字段值对应一个KEY建立虚拟槽；使用FNV算法来Hash字段值；具体计算过程如下：

初始化：hash＝2166136261；

进入循环，根据输入的数据字节长度决定循环次数，hash结果为32位无符号整型，故需要舍弃高位，保留低32位：hash＝(2166136261*16777619)mod 2³²＝0x050c5d1f；

进行异或运算，首先将0x56转化为32位的值0x00000056，然后才能进行异或运算：hash＝0x050c5d1f xor 0x00000056＝0x050c5d49；

对数据进行校验，记有校验和C，所述校验和C共有2ⁿ位，则：

C＝INV

for d in D

C＝C*P

end

其中，x异或y；INV：初始Hash值；P：质数；D[0..len]为字节流数据；

计算外键字段值对应的每个KEY的哈希值后，进行模2³²运算，将得到的相应KEY分布在整个哈希环上，即将每一个业务单元的外键字段值映射到哈希环上；

Key＝Hash(object)％2³²