[发明专利]一种数据提取的控制装置和方法

说明书

本发明公开了一种数据提取的控制装置，其中包括用户访问接口、数据提取控制模块和高速内存缓存模块；用户访问接口统一管理用户的数据请求，向所述数据提取控制模块发起数据提取请求；数据提取控制模块包括：控制组件、物理文件和临时缓存，用于响应所述用户访问接口的数据提取请求，控制组件包括控制开关和状态监控器，控制开关通过高速内存缓存故障保护时间对数据提取的数据源进行控制；高速内存缓存模块获取第三方应用提供的应用数据，用于响应数据提取控制模块的数据提取请求。根据上述技术方案，可以解决网络异常、并发量大、缓存故障的异常情况的数据提取。

技术领域

本发明涉及计算机应用领域，具体而言，涉及一种数据提取的控制装置和 方法。

背景技术

对于数据提取控制方法，常用的方案有采用OpenResty平台，即基于 Nginx(一个高性能的HTTP和反向代理Web服务器)与Lua(一种轻量小巧的 脚本语言，用标准C语言编写并以源代码形式开放,其设计目的是为了嵌入应 用程序中，从而为应用程序提供灵活的扩展和定制功能)的高性能Web平台， 其内部集成Lua库、第三方模块等，可处理超高并发、扩展性极高的动态Web 应用、Web服务和动态网关。在OpenResty中，通过运行Lua脚本程序连接读 取Redis(Remote Dictionary Server，即远程字典服务，是一个开源的使用 ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数 据库)以实现数据访问。然而常出现以下技术问题引起读取Redis失败，从而 影响系统使用。：

1)由于OpenResty与Redis部署在不同的服务器，连接Redis时不可避免 的会有网络消耗，发生网络连接异常；

2)在并发访问量达到一定的程度时，会出现访问速度变慢的问题，这主 要是由于Redis虽然能承受较高并发，但也存在天花板(官方数据显示约为10W 次/秒)；

3)当Lua无法成功连接或读取Redis数据时(与Redis服务器的网络出现 故障，或者Redis服务器出现故障等偶发情况)，服务将不可用，无法正常返 回数据。

发明内容

本发明要解决的技术问题是，提供一种数据提取的控制方案，对用户的 数据提取、第三方的数据写入进行分离，提高数据提取的并发访问能力，对 数据存储的服务器发生阻塞故障时可采用备用机制，从而保证系统在各种情 况下的正常使用。

为解决上述技术问题，本申请提供了一种控制数据提取的装置，包括： 用户访问接口、数据提取控制模块和高速内存缓存模块；首先，用户访问接 口统一管理用户的数据请求，向数据提取控制模块发起数据提取请求；

其次，数据提取控制模块包括：控制组件、物理文件和临时缓存，用于 响应用户访问接口的数据提取请求，其中控制组件包括控制开关和状态监控 器，控制开关通过高速内存缓存故障保护时间对数据提取的数据源进行控制；

高速内存缓存模块获取第三方应用提供的应用数据，用于响应数据提取 控制模块的数据提取请求。

进一步的，状态监控器用于管理控制开关的状态，根据一定时间频率与 高速内存缓存模块建立连接，发现高速内存缓存模块产生异常，则设定所述 控制开关的高速内存缓存故障保护时间；

同时状态监控器也包括人工管理入口，用于人工更新所述控制开关的高 速内存缓存故障保护时间。

当数据提取控制模块收到数据请求时，从临时缓存提取有效数据返回； 如果临时缓存中没有有效数据，确定数据源，从数据源提取数据；

判断数据源的依据为判断控制开关的状态，若当前时间在高速内存缓存 故障保护时间内，数据源为物理文件；否则数据源为高速内存缓存模块。