云原生系列四:Yelp 如何在 Kubernetes 上运行 Kafka

转载 发布者:叶秋学长 发表于:2022-07-21

案例分享 | Yelp 如何在 Kubernetes 上运行 Kafka(第 1 部分 - 架构)

这几天小叶秋在网上冲浪的时候,发现一些与云原生相关的文章,特地拿来与大家分享~~

本文译自 Kafka on PaaSTA: Running Kafka on Kubernetes at Yelp (Part 1 - Architecture)[1]。作者:Lennart Rudolph

在 Yelp,Kafka 每天接收数百亿条消息来推进数据驱动并为关键业务管道和服务提供支持。我们最近通过在 PaaSTA (Yelp 自己的平台即服务)上运行集群,对 Kafka 部署架构进行一些改进。基于 K8s 的部署利用了 Kafka 的自定义 Kubernetes operator 以及用于生命周期管理的 Cruise Control 。

架构改进及动机

过去,我们所有的 Kafka 集群都在 AWS 的专用 EC2 实例上运行。Kafka 直接部署在这些主机上,配置管理高度依赖 Puppet 仓库。这种部署模式有些繁琐,创建一个新集群平均需要两个多小时。因此我们着手开发一种新的部署模型,以下是改进目标:

  • 减少对 Puppet 缓慢运行的依赖。

相关标签:云原生云开发云原生系列KafkaYelp
声明:本文来自用户分享或转自网络,版权属于原作者,内容中的观点不代表编程技术网的观点。文章内容如有侵权,请联系管理员(QQ:3106529134)删除,本站将在一月内处理。
来源:V1ZWb1UwMUhUa2xVVkZwTlpWUnNjRmxyWXpWaWEzaDBWRzV3WVZKNlVqRlpiVEZYVFVWM2VVMUlaRmxsYkd3MlZHNXdTbVZWTlhGYWVrWk5UV3RhTlZwRlpITmhiVXBJVmxoYVlWSXhXWGRYVm1Sell6Sk9OVTlJYUU1aGJGVXdWRlpTUm1WVk5YRlhWREE5