[发明专利]一种读取XML文件的方法及装置、设备、存储介质

说明书

本申请公开了一种读取XML文件的方法及装置、设备、存储介质，其中，所述方法包括：获取包括有M条XML记录的XML文件，M为大于等于1的整数；按照所述M条XML记录的先后顺序，利用N个Xpath依次对每一所述XML记录中的字段进行读取，对应得到N个字段，N为大于等于1的整数；按照所述M条XML记录的先后顺序，确定从每一所述XML记录读取的N个字段对应的行字符串，将每一所述行字符串转化为满足DataX协议的字符串，以供DataX的写线程处理。本申请提供的技术方案一方面利用Xpath读取XML字段可以处理复杂的XML数据；另一方面一条一条地顺序读取字符串，可以将读取的字符串转化为满足DataX协议的字符串，以供DataX的写线程处理。

技术领域

本申请涉及数据库技术，涉及但不限于一种读取XML文件的方法及装置、设备、存储介质。

背景技术

DataX是一个异构数据源离线同步工具，实现了包括关系型数据库、Hadoop分布式文件系统(Hadoop File System，HDFS)、Hive、开放数据处理服务(Open Data ProcessingService，ODPS)、HBase、文件传输协议(File Transfer Protocol，FTP)等各种异构数据源之间稳定高效的数据同步功能。其中，Hive是一个构建在Hadoop上的数据仓库框架，是一个通用的、可伸缩的数据处理平台；HBase是一个分布式的、面向列的开源数据库。

目前DataX支持抽取FTP和HDFS，但存在以下问题：第一、目前仅支持读取文本文件(TXT)；第二、TXT文件中的概要为一张二维表，由于二维表不支持保存可扩展标记语言(Extensible Markup Language，XML)等非结构型数据，从而无法直接将DataX支持读取TXT文件的方式应用于对于XML文件的读取，其中，XML是标准通用标记语言的子集，是一种用于标记电子文件使其具有结构性的标记语言。

发明内容

有鉴于此，本申请为解决现有技术中存在的至少一个问题而提供一种读取XML文件的方法及装置、设备、存储介质。

本申请实施例的技术方案是这样实现的：

第一方面，本申请提供一种读取XML文件的方法，所述方法包括：

获取包括有M条XML记录的XML文件，M为大于等于1的整数；按照所述M条XML记录的先后顺序，利用N个Xpath依次对每一所述XML记录中的字段进行读取，对应得到N个字段，N为大于等于1的整数；按照所述M条XML记录的先后顺序，确定从每一所述XML记录读取的N个字段对应的行字符串，将每一所述行字符串转化为满足DataX协议的字符串，以供DataX的写线程处理。

第二方面，本申请提供一种读取XML文件的装置，所述装置包括：

获取模块，用于获取包括有M条XML记录的XML文件，M为大于等于1的整数；读取模块，用于按照所述M条XML记录的先后顺序，利用N个Xpath依次对每一所述XML记录中的字段进行读取，对应得到N个字段，N为大于等于1的整数；确定模块，用于按照所述M条XML记录的先后顺序，确定从每一所述XML记录读取的N个字段对应的行字符串，将每一所述行字符串转化为满足DataX协议的字符串，以供DataX的写线程处理。

第三方面，本申请提供一种读取XML文件的设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述读取XML文件的方法的步骤。

第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述读取XML文件的方法的步骤。