18.【终章】Kafka监控工具Eagle最新版安装
[TOC]前言Kafka监控系统在Kafka的监控系统中有很多优秀的开源监控系统。比如Kafka-manager，open-faclcon，zabbix等主流监控工具均可直接监控kafka。Kafka集群性能监控可以从消息网络传输，消息传输流量，请求次数等指标来衡量集群性能。这些指标数据可以通过访问kafka集群的JMX接口获取。JMX接口JMX(Java Management Extens...
17.Kafka自定义拦截器
[TOC]一、拦截器原理 Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的，主要用于实现clients端的定制化控制逻辑。 对于 producer 而言，interceptor 使得用户在消息发送前以及 producer 回调逻辑前有机会对消息做一些定制化需求，比如修改消息等。同时，producer 允许用户指定多个 ...
16.Kafka消费者API
[TOC]前言Consumer 消费数据时的可靠性是很容易保证的，因为数据在 Kafka 中是持久化的，故不用担心数据丢失问题。由于consumer在消费过程中可能会出现断电宕机等故障，consumer恢复后，需要从故障前的位置的继续消费，所以consumer需要实时记录自己消费到了哪个offset，以便故障恢复后继续消费。所以 offset 的维护是 Consumer 消费数据是必须考虑的...
15.Kafka生产者API
[TOC]前言本次运行的Kafka版本是2.8.0单机版；在运行之前先要检查防火墙是否关闭，或者是否开启9092端口查看防火墙状态命令firewall-cmd --state关闭防火墙命令systemctl stop firewalld.servicePS:别问我为什么要强调这一点。一、消息发送流程Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了...
14.【转载】Kafka事务特性详解
[TOC]前言Kafka在0.11版本中除了引入了Exactly Once语义，还引入了事务特性。Kafka事务特性是指一系列的生产者生产消息和消费者提交偏移量的操作在一个事务中，或者说是一个原子操作，生产消息和提交偏移量同时成功或者失败。一、Kafka事务的使用Kafka中的事务特性主要用于以下两种场景：生产者发送多条消息可以封装在一个事务中，形成一个原子操作。多条消息要么都发送成功，要么...
13.Zookeeper在Kafka中的作用
[TOC]前言本篇针对的是2.8版本之前的Kafka,2.8版本及之后Kafka已经移除了对Zookeeper的依赖，通过KRaft进行自己的集群管理,不过目前只是测试阶段。一、概述Apache Kafka是一个使用Zookeeper构建的分布式系统。Zookeeper的主要作用是在集群中的不同节点之间建立协调；如果任何节点失败，我们还使用Zookeeper从先前提交的偏移量中恢复，因为它做...
12.Kafka之offset介绍
[TOC]一、概述1.1 概念消费者消费完了消息是不会被立刻删除的,每个消费者把消费的数据消费到哪里了就需要做个记录,就是offset。1.2 版本Kafka 0.9版本之前，consumer默认将offset保存在Zookeeper中，从0.9版本开始，consumer默认将offset保存在Kafka一个内置的topic中，该topic为"__consumer_offsets" 。__c...
11. Kafka消费者分区分配策略
[TOC]前言在本节开始之前，可以先了解一下上一节内容Kafka重平衡机制。一、消费者分区分配策略作用一个consumer group 中有多个consumer，一个 topic 有多个partition，所以必然会涉及到partition 的分配问题，即确定哪个partition 由哪个consumer 来消费。 Kafka 有三种分配策略：RoundRobin（轮询）Range（范围）S...
10.【转载】Kafka重平衡机制
[TOC]前言当集群中有新成员加入，或者某些主题增加了分区之后，消费者是怎么进行重新分配消费的？这里就涉及到重平衡（Rebalance）的概念，下面我就给大家讲解一下什么是 Kafka 重平衡机制，我尽量做到图文并茂通俗易懂。一、重平衡的作用重平衡跟消费组紧密相关，它保证了消费组成员分配分区可以做到公平分配，也是消费组模型的实现，消费组模型如下：从图中可以找到消费组模型的几个概念：同一个消费...
