04.Flink本地模式部署

Leefs 2021-12-22 PM 1577℃ 0条

[TOC]

### 前言

Flink提供了多种部署方式，常用方式主要有三种：**local、standalone、yarn**。

local就是单机模式，一般来说用于本地开发测试；

Standalone跟yarn模式都可以支撑集群部署、实现HA，但是两者在任务分配机制、内存管理等内容上有比较大的差异。

一般在处理计算数据量级非常大的生产环境，使用flink on yarn的模式更多一些。

### 一、Local模式介绍

在local模式下，不需要启动任何的进程，仅仅是使用本地线程来模拟flink的进程，适用于测试开发调试等，这种模式下，不用更改任何配置，只需要保证jdk8安装正常即可。

### 二、安装过程介绍

#### 2.1 环境准备

+ CentOS 7.X

+ JDK 1.8

#### 2.2 下载

+ Apache Flink下载地址：https://flink.apache.org/downloads.html

+ 本次安装目前最新版Apache Flink1.14.2

![04.Flink本地模式部署01.jpg](https://lilinchao.com/usr/uploads/2021/12/2619421982.jpg)

#### 2.3 安装

**（1）上传安装包并解压**

```shell
# 将压缩包解压到/opt/software目录下
sudo tar -zxf flink-1.14.2-bin-scala_2.12.tgz -C /opt/software/
```

**（2）直接使用脚本启动**

flink在处于local模式下，不需要更改任何配置，直接解压之后启动即可。

```shell
[root@hadoop001 flink-1.14.2]# pwd
/opt/software/flink-1.14.2
[root@hadoop001 flink-1.14.2]# ./bin/start-cluster.sh 
```

**（3）查看flink启动进程**

```shell
[root@hadoop001 flink-1.14.2]# jps
12905 StandaloneSessionClusterEntrypoint
13164 TaskManagerRunner
```

**（4）访问webUI界面**

Flink访问webUI界面端口默认是8081。

访问地址：http://192.168.61.129:8081/

![04.Flink本地模式部署02.jpg](https://lilinchao.com/usr/uploads/2021/12/1629343123.jpg)

#### 2.4 测试

**（1）安装netcat**

```shell
yum install -y nc
```

**（2）运行netcat监听8000端口**

```
nc -lk 8000
```

**（3）使用Flink自带的WordCount测试包，提交任务**

```
[root@hadoop001 flink-1.14.2]# bin/flink run examples/streaming/SocketWindowWordCount.jar   --hostname localhost  --port 8000
```

**（4）通过netcat输出单词**

```shell
[hadoop@hadoop001 ~]# nc -lk 8000
hello java
hello scala
hello flink
```

**（5）查看输出结果**

```shell
[root@hadoop001 log]# pwd
/opt/software/flink-1.14.2/log
[root@hadoop001 log]# tail -f flink-hadoop-taskexecutor-1-hadoop001.out 
```

#### 2.5 关闭命令

```shell
[root@hadoop001 flink-1.14.2]# bin/stop-cluster.sh
```

标签: Flink

非特殊说明，本博所有文章均为博主原创。

如若转载，请注明出处：https://www.lilinchao.com/archives/1772.html

上一篇 03.Flink入门案例

下一篇 05.Flink Standalone模式单机版安装

04.Flink本地模式部署

评论啦~

栏目分类

标签云

友情链接申请

04.Flink本地模式部署

 评论啦~

 栏目分类

标签云

友情链接申请

评论啦~

栏目分类

标签云

友情链接申请