[发明专利]应用于电力用户用电信息采集系统的电能量数据写库方法

说明书

技术领域

    本发明涉及电能量数据存储技术领域，尤其涉及一种采用分步式缓存存储和批处理技术进行电力用户用电信息采集系统电能量数据的写库方法。

背景技术

依据国家电网公司全面建设用电信息采集系统的规划，2014年底各网省公司需实现城网用户“全采集、全覆盖”，随着各网省用电信息采集接入规模的不断扩大（部分省电力公司采集系统接入用户量已经达到千万级别，已进入海量级数据应用级别）及应用程度的不断加深，导致用户用电数据采集存储时间过长，对业务应用时效性影响也越来越大。

    用电信息采集系统作为营销业务系统的数据支撑平台，每天需要定时将电能表上的数据采集回来并存储到数据库中，不仅如此而且还承担着电量分析、负荷分析、反窃电分析、线损分析、电能质量监测与可靠性的统计分析，为相关业务应用提供数据支撑；按照正常业务每天早8点需完成相关业务报表数据，排除终端采电能表时间和数据统计时间，留给采集系统的数据采集时间不足1小时，通过对数据采集流程耗时分析，其中数据写库耗时较长已经成为影响数据采集时效性的主要因素。主要体现在：当前采用的传统数据表将全口径用户的计量点电能示值全部存储在一个表中，随着时间的推移，表中数据量也会越来越大，查询数据的速度就会变慢；传统的数据写库方式为先插入后更新，处理每条记录需要与数据库交互两次，导致在数据采集时写库效率非常低，另外，传统数据存盘时每插入或更新一条记录，进行一次COMMIT（提交）操作，造成与数据库的交互相当频繁，进而导致整个写库时间耗时较长，这是导致数据采集时间过长的主要原因。 随着采集系统数据量的快速增长，当前的数据写库模式已经受到日益严峻挑战，因此需要一种高效的电能量写库方法满足用户数据时效性业务需求。 

发明内容

为解决上述问题，本发明基于分步式缓存存储和批处理（BATCH）技术实现用电信息采集系统全口径电能量数据的存储，有效提高了数据存储效率。

为实现上述目的，本发明采用的技术方案如下：

一种应用于电力用户用电信息采集系统的电能量数据写库方法，结合采集系统数据带有数据采集时间标签以及数据采集按日进行的特点，需事先在数据库中构建一个按日进行分区，且主键索引为本地索引的计量点电能示值表。这样，每日采集回来的数据根据时间标签放入到指定分区中，由于每个分区都是单独的segment（占用的数据文件空间），虽然数据表中数据随时间推移呈线性增长，但进行数据查询或数据写入时可进行指定分区操作，因此，可有效缩小查询数据集，提高数据抽取及写库的效率。

该方法包括以下步骤：

    步骤一、每日空闲时间数据预存储：在每日采集前的系统空闲时间将待采集计量点的标识和日期预先初始化到计量点电能示值表的指定分区中；计量点的标识和日期是表的主键，以此进行主键索引，找到相应的日期分区以及相应的计量点。在此采用分步式缓存存储，每日选择数据库空闲时间（20：00至24:00），先次日要采集的计量点记录初始化到该表中，这样在采集数据写库时可直接对该表中的记录进行更新，无需进行插入操作。而传统的写库方法是先对该记录进行插入操作，如果成功则处理下一条，如果失败则进行更新操作，处理每条记录需要与数据库交互两次。 本发明与传统写库方式相比，省去了插入步骤，只需与数据库交互一次，从而减少了与数据库交互的次数，大幅提高了数据写库效率。

 步骤二、每日定时采集计量点电能示值数据并缓存：定时同步启动各待采集终端的计量点电能示值数据采集，将采集回的数据插入日期标签后以文件形式缓存到指定机器上，设定文件大小，超过设定值的文件作为历史文件维护在存储文件队列中。传统的数据采集及数据写库是在同一个线程中进行，由于海量采集系统内接入采集终端的数量至少在30万以上，且采用高并发进行数据采集（即30万台终端并发进行数据采集及数据存储），受数据库链接数量的限制，数据写库时间较长。本发明这种方式可将数据采集与数据写库分离，两步独立操作，提高写库效率。

    步骤三、启动写库线程：在数据采集同时启动数据存盘线程，采用批处理方式对存储文件队列中的文件进行数据写库处理，将数据更新至对应日期的分区表中。由存盘线程进行统一写库管理，存盘线程可以单线程也可以是多线程。采用批处理方式进行写库，提升了写库的速度。而且，数据库中的数据按日期分区存储，便于后期数据抽取操作。