[发明专利]一种数据存储方法、装置、设备及介质

说明书

本申请涉及数据存储技术领域，尤其涉及一种数据存储方法、装置、设备及介质，由于在本申请实施中，可以根据各个埋点数据对应存储到的分布式数据库的第一目标标识信息，将各个埋点数据存储到对应的第一目标标识信息的分布式数据库中，一方面，分布式数据库相比于关系型数据库来说，更适合存储大数量的数据，不会出现埋点数据达到一定规模后，影响业务系统的运行速度的问题，且各个埋点数据是进行分库存储的，可以有效的减少每个分布式数据库的存储压力；另一方面，该方法无需开发人员进行程序开发，降低了开发人员的工作负担，也降低了对业务系统的磁盘性能、容量的要求。

技术领域

本申请涉及数据存储技术领域，尤其涉及一种数据存储方法、装置、设备及介质。

背景技术

随着各项业务的蓬勃发展，业务数据也随之积累，各业务系统管理员、上级监管部门等针对不同业务系统，提出了对各系统活跃度、交易量、用户行为分析等各种指标的收集与分析需求，比如，统计张三在业务系统中近三年进行过几次交易A等，具体的，可以通过埋点数据对各种指标进行收集与分析。

相关技术，可以将需要分析的埋点数据存储到业务系统中的关系型数据库中，然后由业务系统基于存储的埋点数据进行数据分析，获得分析完成的各项指标。由于关系型数据库不适合存储大量的数据，因此当关系型数据库中存储的埋点数据量达到一定规模后，将影响业务系统的运行速度，甚至导致业务系统的其它功能不能正常使用。

相关技术中还可以将需要分析的埋点数据写入到日志中，然后将日志中的埋点数据加载到大数据计算环境中，并在大数据计算环境中进行数据分析，获得分析完成的各项指标，由于将埋点数据写入日志的过程，需要开发人员进行程序开发操作，加大了开发人员的工作负担，且该方式对业务系统的磁盘性能、容量均要求很高。

发明内容

本申请提供了一种数据存储方法、装置、设备及介质，用以解决现有技术中基于关系型数据库存储大规模的埋点数据会影响业务系统的运行速度，且将埋点数据写入日志加大开发人员的工作负担的问题。

本申请提供了一种数据存储方法，所述方法包括：

读取配置文件，获取所述配置文件中携带的待埋点的埋点数据及所述埋点数据对应存储到的分布式数据库的第一目标标识信息；

将所述埋点数据存储到所述第一目标标识信息的分布式数据库中。

进一步地，所述配置文件还携带待埋点的业务系统的第二目标标识信息；所述将所述埋点数据存储到所述第一目标标识信息的分布式数据库中包括：

根据所述待埋点的业务系统的第二目标标识信息、预先保存的业务系统的标识信息与Kafka中主题的标识信息的对应关系，确定所述第二标识信息对应的Kafka中主题的第三目标标识信息，并将所述埋点数据写入到所述Kafka中所述第三目标标识信息的主题中；

识别所述第三目标标识信息的主题中写入的所述埋点数据，并将识别出的所述埋点数据存储到所述第一目标标识信息的分布式数据库中。

进一步地，所述方法还包括：

若第一目标标识信息的分布式数据库中所述埋点数据丢失，则在满足识别条件后，识别所述第三目标标识信息的主题中写入的所述埋点数据，并将识别出的所述埋点数据存储到所述第一目标标识信息的分布式数据库中。

进一步地，所述识别所述第三目标标识信息的主题中写入的所述埋点数据包括：

基于Flink识别所述第三目标标识信息的主题中写入的所述埋点数据；或

基于Flink SQL识别所述第三目标标识信息的主题中写入的所述埋点数据。

进一步地，所述配置文件还携带有数据表的第四目标标识信息；

所述将所述埋点数据存储到所述第一目标标识信息的分布式数据库中包括：