李林超博客
首页
归档
留言
友链
动态
关于
归档
留言
友链
动态
关于
首页
大数据
正文
09.Yarn配置多队列的公平调度器
Leefs
2021-09-11 PM
1523℃
0条
# 09.Yarn配置多队列的公平调度器 ### 一、配置 (1)修改`yarn-site.xml`文件,加入以下参数 ```xml
yarn.resourcemanager.scheduler.class
org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler
配置使用公平调度器
yarn.scheduler.fair.allocation.file
/opt/module/hadoop-3.1.3/etc/hadoop/fair-scheduler.xml
指明公平调度器队列分配配置文件
yarn.scheduler.fair.preemption
false
禁止队列间资源抢占
``` (2)配置`fair-scheduler.xml` ```xml
0.5
4096mb,4vcores
2048mb,2vcores
4096mb,4vcores
4
0.5
1.0
fair
2048mb,2vcores
4096mb,4vcores
4
0.5
1.0
fair
``` (3)分发配置并重启Yarn ``` [root@hadoop102 hadoop]# xsync yarn-site.xml [root@hadoop102 hadoop]# xsync fair-scheduler.xml [root@hadoop103 hadoop-3.1.3]# sbin/stop-yarn.sh [root@hadoop103 hadoop-3.1.3]# sbin/start-yarn.sh ``` ### 二、提交测试任务 (1)提交任务时指定队列,按照配置规则,任务会到指定的`root.test`队列 ``` [root@hadoop102 hadoop-3.1.3]# hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi -Dmapreduce.job.queuename=root.test 1 1 ``` (2)提交任务时不指定队列,按照配置规则,任务会到`root.demo.demo`队列 ``` [root@hadoop102 hadoop-3.1.3]# hadoop jar /opt/module/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar pi 1 1 ``` *附:* *文章来源《尚硅谷大数据之Hadoop》*
标签:
Hadoop
,
Yarn
非特殊说明,本博所有文章均为博主原创。
如若转载,请注明出处:
https://www.lilinchao.com/archives/1437.html
上一篇
08.Yarn容量调度器多队列配置案例
下一篇
VMware16安装Ubuntu16.04教程
取消回复
评论啦~
提交评论
栏目分类
随笔
2
Java
326
大数据
229
工具
31
其它
25
GO
47
标签云
序列化和反序列化
Azkaban
Golang基础
字符串
Hbase
Tomcat
Stream流
Java阻塞队列
Jenkins
Hadoop
RSA加解密
SQL练习题
DataWarehouse
GET和POST
Nacos
哈希表
Thymeleaf
Python
Zookeeper
机器学习
JavaScript
数学
CentOS
Beego
FileBeat
前端
Git
JavaSE
Scala
Elastisearch
友情链接
申请
范明明
庄严博客
Mx
陶小桃Blog
虫洞