[发明专利]一种插件式实时数据处理系统及方法在审
| 申请号： | 201810760612.9 | 申请日： | 2018-07-12 |
| 公开（公告）号： | CN108958722A | 公开（公告）日： | 2018-12-07 |
| 发明（设计）人： | 杨思枢 | 申请（专利权）人： | 杭州玳数科技有限公司 |
| 主分类号： | G06F8/30 | 分类号： | G06F8/30 |
| 代理公司： | 常州佰业腾飞专利代理事务所(普通合伙) 32231 | 代理人： | 滕诣迪 |
| 地址： | 310030 浙江省杭州市西湖区*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供的一种插件式实时数据处理方法及系统，包括：S101、通过Yarn组件生成JlogstashApplicationMaster，并向Yarn组件的ResourceManager申请可用资源，启动Container容器，由Container容器启动JLogstashWork；S102、根据配置文件生成Input组件，接收外部数据；S103、根据配置文件生成Filter组件，解析和过滤数据；S104、根据配置文件生成Output组件，将解析和过滤后的数据发送到指定的第三方存储中；本发明能够在4G4核的虚拟机配置下，单机采集性能达到2w/s；能做到资源调度和资源隔离；支持水平横向扩展，避免单机性能瓶颈；能保证应用异常退出时数据能保证不丢失；通过配置文件支持插件式开发，方便第三方用户自定义自己需要的采集、过滤、输出插件；性能会得到至少3倍的提升，实用性极强。 | ||
| 搜索关键词： | 配置文件 插件式 单机 过滤 解析 实时数据处理系统 实时数据处理 第三方用户 采集性能 过滤数据 可用资源 容器启动 输出插件 水平横向 外部数据 性能瓶颈 资源调度 资源隔离 组件生成 第三方 数据发 虚拟机 自定义 存储 采集 保证 退出 配置 申请 应用 开发 | ||
【主权项】：
1.一种插件式实时数据处理方法，其特征在于：包括：S101、通过Yarn组件生成JlogstashApplicationMaster，并向Yarn组件的ResourceManager申请可用资源，启动Container容器，由Container容器启动JLogstashWork；S102、根据配置文件生成Input组件，接收外部数据；S103、根据配置文件生成Filter组件，解析和过滤数据；S104、根据配置文件生成Output组件，将解析和过滤后的数据发送到指定的第三方存储中。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于杭州玳数科技有限公司，未经杭州玳数科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810760612.9/，转载请声明来源钻瓜专利网。
