[发明专利]一种基于容器的数据接收及解析方法

说明书

本发明公开了一种基于容器的数据接收及解析方法，其包括：提供标准容器镜像，该标准容器镜像中包装了数据接收及解析服务运行所需的基本组件；自动化部署平台基于Webhook将用户代码自动制作为容器镜像，并推送到中央库中；通过自动化部署平台自动部署容器镜像；监控每个数据接收及解析服务的流量及连接数，产生流量及连接数的每分钟的平均数据并将该平均数据放入消息队列中；通过监控服务接收消息队列中的数据并根据接收到的数据的大小调整容器数量。本发明可以实现业务的自动部署并基于监控数据实现对容器的自动扩容与缩容，进而实现对数据接收及解析的自动化管理。

技术领域

本发明涉及数据接收及解析技术领域，尤其涉及一种基于容器的数据接收及解析方法。

背景技术

目前针对各种联网设备的数据的接收及解析还没有基于容器化，一般都是采用手动的方式进行业务部署、扩容及缩容等操作。而现有的这种手动操作方式很容易造成部署错误，并且当数据流量增加后不能及时扩容，同样在数据流量减少后也不能及时缩容，从而不利于数据的接收及解析处理。

发明内容

针对上述现有技术中存在的不足之处，本发明提供一种基于容器的数据接收及解析方法，实现业务的自动部署并基于监控数据实现对容器的自动扩容与缩容，进而实现对数据接收及解析的自动化管理。

该基于容器的数据接收及解析方法，包括：

提供标准容器镜像，所述标准容器镜像中包装了数据接收及解析服务运行所需的基本组件；

自动化部署平台通过所述标准化容器镜像，基于Webhook将用户代码自动制作为容器镜像，并将所述容器镜像推送到中央库中；

通过所述自动化部署平台自动部署所述容器镜像；

基于所述容器镜像监控每个数据接收及解析服务的流量及连接数，产生所述流量及连接数的每分钟的平均数据并将所述平均数据放入消息队列中；

通过监控服务接收所述消息队列中的数据并根据从所述消息队列中接收到的数据的大小调整容器数量。

进一步地，所述通过监控服务接收所述消息队列中的数据并根据从所述消息队列中接收到的数据的大小调整容器数量，包括：

通过监控服务接收所述消息队列中的数据；

当接收到的数据小于预设的最大阈值且大于预设的最小阈值时，更新数据库中所缓存的最新数据；

当接收到的数据大于所述最大阈值或小于所述最小阈值时，查询所述数据库中的最新数据，并根据所述数据库中最新数据的大小调整容器数量。

更进一步地，所述根据所述数据库中最新数据的大小调整容器数量，包括：

当所述数据库中最新数据小于所述最大阈值且大于所述最小阈值时，更新所述数据库中的最新数据；

当所述数据库中最新数据大于所述最大阈值或小于所述最小阈值时，则检查所述数据库中数据时间戳的差值；

当所述差值在两分钟内时，则直接丢弃接收到的数据；

当所述差值超过两分钟且所述数据库中最新数据大于所述最大阈值时，则更新所述数据库中的最新数据并触发扩容服务增加容器数量；

当所述差值超过两分钟且所述数据库中最新数据小于所述最小阈值时，则更新所述数据库中的最新数据并触发缩容服务减少容器数量。

优选地，所述触发扩容服务增加容器数量时所增加的容器数量等于所述数据库中当前最新数据和所述最大阈值的比值。

优选地，所述触发缩容服务减少容器数量时一次仅减少一个容器。