李林超博客
首页
归档
留言
友链
动态
关于
归档
留言
友链
动态
关于
首页
大数据
正文
17.Kafka自定义拦截器
Leefs
2021-10-16 PM
1259℃
0条
[TOC] ### 一、拦截器原理 Producer 拦截器(interceptor)是在 Kafka 0.10 版本被引入的,主要用于实现clients端的定制化控制逻辑。 对于 producer 而言,interceptor 使得用户在消息发送前以及 producer 回调逻辑前有机会对消息做一些定制化需求,比如修改消息等。同时,producer 允许用户指定多个 interceptor **按序**作用于同一条消息从而形成一个拦截链(interceptor chain)。 ### 二、拦截器实现 Intercetpor 的实现接口是 `org.apache.kafka.clients.producer.ProducerInterceptor`,其定义的方法包括: **(1)configure(configs)** 获取配置信息和初始化数据时调用。 **(2)onSend(ProducerRecord)** 该方法封装进 `KafkaProducer.send` 方法中,即它运行在用户主线程中。Producer 确保在消息被序列化以及计算分区前调用该方法。**用户可以在该方法中对消息做任何操作,但最好保证不要修改消息所属的 topic 和分区**,否则会影响目标分区的计算。 **(3)onAcknowledgement(RecordMetadata, Exception)** **该方法会在消息从 RecordAccumulator 成功发送到 Kafka Broker 之后,或者在发送过程中失败时调用。**并且通常都是在 producer 回调逻辑触发之前。onAcknowledgement 运行在 producer 的 IO 线程中,因此不要在该方法中放入很重的逻辑,否则会拖慢 producer 的消息发送效率。 **(4)close** 关闭 interceptor,主要用于执行一些资源清理工作 如前所述,interceptor 可能被运行在多个线程中,因此在**具体实现时用户需要自行确保线程安全。**另外倘若指定了多个 interceptor,则 producer 将按照指定顺序调用它们,并仅仅是捕获每个 interceptor 可能抛出的异常记录到错误日志中而非在向上传递。这在使用过程中要特别留意。 ### 三、拦截器案例 #### 3.1 需求 > 实现一个简单的双 interceptor 组成的拦截链: > > + 第一个 interceptor 会在消息发送前将时间戳信息加到消息 value 的最前部; > > + 第二个 interceptor 会在消息发送后更新成功发送消息数或失败发送消息数。 #### 3.2 案例实操 > 创建TimeInterceptor类 ```java import org.apache.kafka.clients.producer.ProducerInterceptor; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.clients.producer.RecordMetadata; import java.util.Map; /** * @author lilinchao * @date 2021/10/16 * @description 增加时间戳拦截器 **/ public class TimeInterceptor implements ProducerInterceptor
{ public ProducerRecord
onSend(ProducerRecord
producerRecord) { //创建一个新的record,把时间戳写入消息体的最前部 return new ProducerRecord(producerRecord.topic(),producerRecord.partition(), producerRecord.timestamp(), producerRecord.key(),System.currentTimeMillis() + ":" + producerRecord.value()); } public void onAcknowledgement(RecordMetadata recordMetadata, Exception e) { } public void close() { } public void configure(Map
map) { } } ``` > 创建CounterInterceptor类 ```java import org.apache.kafka.clients.producer.ProducerInterceptor; import org.apache.kafka.clients.producer.ProducerRecord; import org.apache.kafka.clients.producer.RecordMetadata; import java.util.Map; /** * @author lilinchao * @date 2021/10/16 * @description 统计发送消息成功和发送失败消息数,并在producer关闭时打印这两个计数器 **/ public class CounterInterceptor implements ProducerInterceptor
{ private int errorCounter = 0; private int successCounter = 0; public ProducerRecord
onSend(ProducerRecord
producerRecord) { return producerRecord; } public void onAcknowledgement(RecordMetadata recordMetadata, Exception e) { // 统计成功和失败的次数 if (e == null) { successCounter++; } else { errorCounter++; } } public void close() { // 保存结果 System.out.println("Successful sent: " + successCounter); System.out.println("Failed sent: " + errorCounter); } public void configure(Map
map) { } } ``` > 创建InterceptorProducer ```java import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.Producer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.producer.ProducerRecord; import java.util.ArrayList; import java.util.List; import java.util.Properties; /** * @author lilinchao * @date 2021/10/16 * @description 自定义拦截器生产者 **/ public class InterceptorProducer { public static void main(String[] args){ Properties props = new Properties(); //1、设置配置信息 props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "192.168.159.135:9092"); props.put(ProducerConfig.ACKS_CONFIG, "all"); props.put(ProducerConfig.RETRIES_CONFIG, 1); props.put(ProducerConfig.BATCH_SIZE_CONFIG, 16384); props.put(ProducerConfig.LINGER_MS_CONFIG, 1); props.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 33554432); props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer"); props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer"); //2、构建拦截器 List
interceptors = new ArrayList
(); //拦截器链是按照添加顺序,进行顺序执行的 interceptors.add("com.dataojo.kafka.Interceptor.TimeInterceptor"); interceptors.add("com.dataojo.kafka.Interceptor.CounterInterceptor"); props.put(ProducerConfig.INTERCEPTOR_CLASSES_CONFIG,interceptors); //3、发送消息 Producer
producer = new KafkaProducer
(props); for (int i = 0;i < 10;i++){ ProducerRecord
record = new ProducerRecord
("kafkaDemo",Integer.toString(i), "Producer-" + i); producer.send(record); } //4、一定要关闭producer,这样才会调用interceptor的close方法 producer.close(); } } ``` **运行结果** ![17.Kafka自定义拦截器01.jpg](https://lilinchao.com/usr/uploads/2021/10/1047951096.jpg) **服务端消费者运行结果** ![17.Kafka自定义拦截器02.jpg](https://lilinchao.com/usr/uploads/2021/10/2889441202.jpg)
标签:
Kafka
非特殊说明,本博所有文章均为博主原创。
如若转载,请注明出处:
https://www.lilinchao.com/archives/1562.html
上一篇
16.Kafka消费者API
下一篇
18.【终章】Kafka监控工具Eagle最新版安装
取消回复
评论啦~
提交评论
栏目分类
随笔
2
Java
326
大数据
229
工具
31
其它
25
GO
47
标签云
gorm
字符串
FileBeat
线程池
Java阻塞队列
Java工具类
Spring
递归
设计模式
JavaSE
Yarn
Linux
高并发
ClickHouse
GET和POST
JavaWeb
数据结构
前端
数据结构和算法
Scala
MyBatis
持有对象
Beego
CentOS
Map
SpringBoot
DataWarehouse
BurpSuite
二叉树
Jenkins
友情链接
申请
范明明
庄严博客
Mx
陶小桃Blog
虫洞