04.Kafka安装教程

Leefs 2021-08-20 AM 1903℃ 0条

# 04.Kafka安装教程

### 前言

本次安装的是目前最新版2.8.0，单机版安装，安装环境CentOS7.X。

### 一、准备阶段

+ 安装JDK环境，要求最好是JDK1.8以上版本
+ 安装Zookeeper环境，详情可以参考：[CentOS7 Zookeeper安装教程](https://lilinchao.com/archives/1124.html)

### 二、下载Kafka

#### 2.1 下载地址

https://kafka.apache.org/downloads

#### 2.2 下载Kafka版本

![04.Kafka安装教程01.jpg](https://lilinchao.com/usr/uploads/2021/08/2530284161.jpg)

本次下载的是最新版`Kafka_2.12-2.8.0.tgz`，直接点击下载即可。

下载完成后直接上传到服务器即可。

也可以通过如下命令直接在服务器端下载

```
[root@hadoopserver sources]# wget https://mirrors.bfsu.edu.cn/apache/kafka/2.8.0/kafka_2.12-2.8.0.tgz
```

### 三、单机版Kafka安装

#### 3.1 复制压缩包到指定目录并解压

```
# 复制kafka压缩包到/usr/local目录下
[root@hadoopserver sources]# cp kafka_2.12-2.8.0.tgz /usr/local/
[root@hadoopserver sources]# cd /usr/local/
#解压
[root@hadoopserver local]# tar -zxvf kafka_2.12-2.8.0.tgz
```

##### kafka的目录结构介绍

![04.Kafka安装教程02.jpg](https://lilinchao.com/usr/uploads/2021/08/4123991207.jpg)

+ bin目录：放置kafka的脚本文件，包括启动、停止、客户端、消费端等；
+ config目录：放置和配置相关的文件，包括客户端、消费端、服务器、zookeeper的配置等；
+ libs目录：放置kafka启动用到的文件及依赖；
+ logs目录：放置kafka的运行时日志文件；

#### 3.2 修改配置

修改`config/server.properties`配置文件

```
[root@hadoopserver kafka_2.12-2.8.0]# vim config/server.properties
```

`server.properties`文件需要修改的参数如下：

```properties
#broker的id或者编号，在集群中该编号必须唯一
broker.id=0

#kafka服务器监听的端口，该端口也是对外提供服务的端口
#     listeners = PLAINTEXT://your.host.name:9092
listeners=PLAINTEXT://192.168.159.135:9092

#消息的存放目录，这里看配置是日志的意思，因为kafka把消息使用日志的形式存储，所以这里不要和kafka的运行日志相混淆。
log.dirs=/usr/local/kafka_2.12-2.8.0/data

#topic下分区的数量
num.partitions=1

# 消息保存的小时数
log.retention.hours=168

#zookeeper的地址
zookeeper.connect=localhost:2181
```

#### 3.3 启动Kafka

```
#启动Kafka
[root@hadoopserver kafka_2.12-2.8.0]# bin/kafka-server-start.sh config/server.properties
#后台启动Kafka
[root@hadoopserver kafka_2.12-2.8.0]# bin/kafka-server-start.sh -daemon config/server.properties
# 查询Kafka是否启动成功
[root@hadoopserver kafka_2.12-2.8.0]# jps -l
```

至此，单机版Kafka安装完成！

### 四、操作注意事项

#### 问题1：

**创建Topic使报如下错误：**

```
ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 3 larger than available brokers: 1.
```

**报错原因：**

因为单机版Kafka默认为1个副本，在创建Topic使将副本数设置为1即可。

#### 问题2：

**执行Kafka自身生产者命令时报如下问题：**

```
[root@hadoopserver kafka_2.12-2.8.0]# bin/kafka-console-producer.sh --topic first --broker-list 127.0.0.1:9092
[2021-08-18 00:33:55,588] WARN [Producer clientId=console-producer] Bootstrap broker 127.0.0.1:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
[2021-08-18 00:33:56,553] WARN [Producer clientId=console-producer] Connection to node -1 (/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
```

**报错原因：**

因为在配置Kafka服务监听端口`listeners=PLAINTEXT://192.168.159.135:9092`，IP配置的是本地服务IP地址192.168.159.135，而在连接的时候使用的是127.0.0.1，出现连接失败。

将IP改为listeners中配置的IP即可。

这一点做的很不友好，不能进行自动转换。

#### 问题3：

执行Kafka消费者命令时报如下错误：

```
[root@hadoopserver kafka_2.12-2.8.0]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic frist
zookeeper is not a recognized option
```

**报错原因：**

kafka在0.90版本之前存放在zookeeper当中，需要连接zookeeper进行消费，0.90版本之后存放到了kafka本地，不需要在连接zookeeper进行消息，就删除了`--zookeeper`命令，使用`--bootstrap-serve`r代替。

**0.90版本之后启动消费者的命令如下：**

```
[root@hadoopserver kafka_2.12-2.8.0]# bin/kafka-console-consumer.sh --bootstrap-server 192.168.159.135:9092 --topic first
```

标签: Kafka

非特殊说明，本博所有文章均为博主原创。

如若转载，请注明出处：https://www.lilinchao.com/archives/1394.html

上一篇 03.Kafka的版本号

下一篇 05.Kafka架构和工作流程

04.Kafka安装教程

评论啦~

栏目分类

标签云

友情链接申请

04.Kafka安装教程

 评论啦~

 栏目分类

标签云

友情链接申请

评论啦~

栏目分类

标签云

友情链接申请