李林超博客
首页
归档
留言
友链
动态
关于
归档
留言
友链
动态
关于
首页
大数据
正文
04.Yarn调度算法
Leefs
2021-09-09 PM
925℃
0条
# 04.Yarn调度算法 ### 一、容量调度器资源分配算法  #### 算法说明 **（1）队列资源分配** 从root开始，使用深度优先算法，**优先选择资源占用率最低**的队列分配资源。 **（2）作业资源分配** 默认按照提交作业的优先级和提交时间顺序分配资源。 **（3）容器资源分配** 按照容器的优先级分配资源。 如果优先级相同，按照数据本地性原则： ①.任务和数据在同一节点 ②.任务和数据在同一机架 ③.任务和数据不在同一节点也不在同一机架 ### 二、Fair策略资源分配算法 + **实际最小资源份额：**`mindshare = Min`（资源需求量，配置的最小资源） + **是否饥饿：**`isNeedy = 资源使用量 < mindshare`（实际最小资源份额） + **资源分配比：**`minShareRatio = 资源使用量/Max`(mindshare,1) + **资源使用权重比：**`useToWeightRatio = 资源使用量/权重`  #### 2.1 队列资源分配  #### 2.2 作业资源分配  *附：* *文章来源参考《尚硅谷大数据之Hadoop》*
标签:
Hadoop
,
Yarn
非特殊说明，本博所有文章均为博主原创。
如若转载，请注明出处：
https://www.lilinchao.com/archives/1426.html
上一篇
03.Yarn调度器
下一篇
05.Yarn常用命令
取消回复
评论啦~
提交评论
栏目分类
随笔
2
Java
326
大数据
229
工具
31
其它
25
GO
47
标签云
Yarn
Spark Core
JavaSE
Scala
Flume
锁
Jquery
RSA加解密
Filter
DataX
LeetCode刷题
二叉树
Spark RDD
设计模式
FastDFS
SpringCloudAlibaba
Quartz
国产数据库改造
Tomcat
正则表达式
Zookeeper
Jenkins
Spark Streaming
递归
Elastisearch
Shiro
查找
Sentinel
MySQL
nginx
友情链接
申请
范明明
庄严博客
Mx
陶小桃Blog
虫洞