[发明专利]一种数据处理方法、装置、设备及介质有效
| 申请号： | 201910866478.5 | 申请日： | 2019-09-12 |
| 公开（公告）号： | CN110673891B | 公开（公告）日： | 2022-08-02 |
| 发明（设计）人： | 刘松伟 | 申请（专利权）人： | 济南浪潮数据技术有限公司 |
| 主分类号： | G06F9/445 | 分类号： | G06F9/445;G06F16/18 |
| 代理公司： | 北京集佳知识产权代理有限公司 11227 | 代理人： | 巴翠昆 |
| 地址： | 250101 山东省济南市高新区*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 数据处理 方法 装置 设备 介质 | ||
1.一种数据处理方法，其特征在于，包括：
获取用户对flumeagent进行配置后得到的配置文件；
对所述配置文件进行解析，得到配置信息，然后利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序；其中，所述第一source为配置后所述flumeagent中的source，所述第一sink为配置后所述flumeagent中的sink；
利用所述第一processor、所述第二processor以及所述数据处理顺序生成nifi模板；
将所述nifi模板提交到nifi集群中进行数据处理；
所述利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序，包括：
利用所述配置信息中所述第一source和所述第一sink对应的信息以及所述第一source和所述第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序；
或，利用所述配置信息中channel对应的信息以及所述第一source和所述第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor和所述第二processor之间的数据处理顺序。
2.根据权利要求1所述的数据处理方法，其特征在于，所述利用所述配置信息以及第一source和第一sink与nifi中相应processor的对应关系，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor以及所述第一processor，包括：
利用所述配置信息，查找关系对应表，得到与所述第一source对应的第一processor、与所述第一sink对应的第二processor；其中，所述关系对应表包括第二source和第二sink以及所述第二source和所述第二sink与nifi中相应processor的对应关系，并且，所述第二source包括配置前所述flumeagent中全部类型的source，所述第二sink包括配置前所述flumeagent中全部类型的sink。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于济南浪潮数据技术有限公司，未经济南浪潮数据技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910866478.5/1.html，转载请声明来源钻瓜专利网。
- 上一篇：插件调用方法、系统、介质及装置
- 下一篇：一种基于组件配置的接口统一调用方法
