[发明专利]单点服务数据的转储方法、装置及存储介质

说明书

本发明实施例提出一种单点服务数据的转储方法、装置及计算机可读存储介质。其中单点服务数据的转储方法包括：创建服务器守护进程；利用所述服务器守护进程从单点服务器中读取一个或多个单点服务对应的单点服务数据；将读取的所述单点服务数据转储到分布式数据库中。本发明实施例可以用于多机房跨网络受限的数据传输场景，可以以一个独立开放模块的形式提供给下游系统插拔式使用。可以支持一种或多种数据源，能够大大提升系统的兼容性和扩展性。可有效避免单点服务存在的单点故障，避免单点服务压力过大以及数据超限造成的读取数据超时等问题的发生。

技术领域

本发明涉及信息技术领域，尤其涉及一种单点服务数据的转储方法、装置及计算机可读存储介质。

背景技术

在大数据场景下的单点服务通常存在单点故障、单点服务压力过大以及数据超限造成的读取数据超时等问题。例如，公安场景下的大数据应用一般需要在不同局域网之间进行数据传输。由于技术限制与安全保密性的需求，导致传输方式有限。通常的传输方式是不同局域网之间通过交换平台进行单点服务对单点服务的数据传输。但是，在大数据应用场景下采用单点服务作为数据提供方容易造成单点故障，并且单节点采用集群式读取对服务压力过大。例如当单点服务存储的记录数目超过1000W的时候读取速度已经接近不可接受的边缘，因此提供一种切实可用的数据转储方式是目前亟待解决的问题。

综上，现有单点数据服务容易造成单点故障，当服务异常时无法提供数据服务，易造成整个集群的故障。并且当数据量持续增大时单点服务时间会成倍增长，造成读取数据的瓶颈。

发明内容

本发明实施例提供一种单点服务数据的转储方法、装置、内容安全防火墙及计算机可读存储介质，以解决现有技术中的一个或多个技术问题。

第一方面，本发明实施例提供了一种单点服务数据的转储方法，包括：

创建服务器守护进程；

利用所述服务器守护进程从单点服务器中读取一个或多个单点服务对应的单点服务数据；

将读取的所述单点服务数据转储到分布式数据库中。

在一种实施方式中，所述服务器守护进程运行于单点服务器上；利用所述服务器守护进程从单点服务器中读取一个或多个单点服务对应的单点服务数据，包括：

利用所述服务器守护进程，按照预设的第一时间周期将所述单点服务数据读取到单节点服务器的内存中。

在一种实施方式中，分布式数据库包括分布式文件系统；将读取的所述单点服务数据转储到分布式数据库中，包括：

按照预设的第二时间周期，或者在读取的所述单点服务数据达到预设的数据量阈值的情况下，将所述单点服务数据批量导出到分布式文件系统中，所述分布式文件系统用于提供数据读取服务。

在一种实施方式中，分布式数据库包括分布式检索系统；将读取的所述单点服务数据转储到分布式数据库中，包括：

实时导出所述单点服务数据到所述分布式检索系统中，所述分布式检索系统用于提供数据查询服务。

在一种实施方式中，将读取的所述单点服务数据转储到分布式数据库中之后，所述方法还包括：

为导出成功的所述单点服务数据添加导出标记；

定期删除带有所述导出标记的所述单点服务数据。

第二方面，本发明实施例提供了一种单点服务数据的转储装置，包括：

创建单元，用于创建服务器守护进程；

读取单元，用于：利用所述服务器守护进程从单点服务器中读取一个或多个单点服务对应的单点服务数据；

转储单元，用于将读取的所述单点服务数据转储到分布式数据库中。