Capacity Scheduler是YARN中默認(rèn)的資源調(diào)度器。

想要了解Capacity Scheduler是什么，可閱讀我的這篇文章“Hadoop Capacity Scheduler分析”。

在Capacity Scheduler的配置文件中，隊(duì)列queueX的參數(shù)Y的配置名稱為yarn.scheduler.capacity.queueX.Y，為了簡(jiǎn)單起見，我們記為Y，則每個(gè)隊(duì)列可以配置的參數(shù)如下：

1.  資源分配相關(guān)參數(shù)

（1）  capacity：隊(duì)列的資源容量（百分比）。 當(dāng)系統(tǒng)非常繁忙時(shí)，應(yīng)保證每個(gè)隊(duì)列的容量得到滿足，而如果每個(gè)隊(duì)列應(yīng)用程序較少，可將剩余資源共享給其他隊(duì)列。注意，所有隊(duì)列的容量之和應(yīng)小于100。

（2）  maximum-capacity：隊(duì)列的資源使用上限（百分比）。由于存在資源共享，因此一個(gè)隊(duì)列使用的資源量可能超過其容量，而最多使用資源量可通過該參數(shù)限制。

m  minimum-user-limit-percent：每個(gè)用戶***資源保障（百分比）。任何時(shí)刻，一個(gè)隊(duì)列中每個(gè)用戶可使用的資源量均有一定的限制。當(dāng)一個(gè)隊(duì)列中同時(shí)運(yùn)行多個(gè)用戶的應(yīng)用程序時(shí)中，每個(gè)用戶的使用資源量在一個(gè)最小值和***值之間浮動(dòng)，其中，最小值取決于正在運(yùn)行的應(yīng)用程序數(shù)目，而***值則由minimum-user-limit-percent決定。比如，假設(shè)minimum-user-limit-percent為25。當(dāng)兩個(gè)用戶向該隊(duì)列提交應(yīng)用程序時(shí)，每個(gè)用戶可使用資源量不能超過50%，如果三個(gè)用戶提交應(yīng)用程序，則每個(gè)用戶可使用資源量不能超多33%，如果四個(gè)或者更多用戶提交應(yīng)用程序，則每個(gè)用戶可用資源量不能超過25%。

（3）  user-limit-factor：每個(gè)用戶最多可使用的資源量（百分比）。比如，假設(shè)該值為30，則任何時(shí)刻，每個(gè)用戶使用的資源量不能超過該隊(duì)列容量的30%。

2.  限制應(yīng)用程序數(shù)目相關(guān)參數(shù)

（1）  maximum-applications ：集群或者隊(duì)列中同時(shí)處于等待和運(yùn)行狀態(tài)的應(yīng)用程序數(shù)目上限，這是一個(gè)強(qiáng)限制，一旦集群中應(yīng)用程序數(shù)目超過該上限，后續(xù)提交的應(yīng)用程序?qū)⒈痪芙^，默認(rèn)值為 10000。所有隊(duì)列的數(shù)目上限可通過參數(shù)yarn.scheduler.capacity.maximum-applications設(shè)置（可看做默認(rèn) 值），而單個(gè)隊(duì)列可通過參數(shù)yarn.scheduler.capacity.<queue-path>.maximum- applications設(shè)置適合自己的值。

（2）  maximum-am-resource-percent：集群中用于運(yùn)行應(yīng)用程序 ApplicationMaster的資源比例上限，該參數(shù)通常用于限制處于活動(dòng)狀態(tài)的應(yīng)用程序數(shù)目。該參數(shù)類型為浮點(diǎn)型，默認(rèn)是0.1，表示10%。所 有隊(duì)列的ApplicationMaster資源比例上限可通過參數(shù)yarn.scheduler.capacity. maximum-am-resource-percent設(shè)置（可看做默認(rèn)值），而單個(gè)隊(duì)列可通過參數(shù) yarn.scheduler.capacity.<queue-path>. maximum-am-resource-percent設(shè)置適合自己的值。

3.  隊(duì)列訪問和權(quán)限控制參數(shù)

（1）  state ：隊(duì)列狀態(tài)可以為STOPPED或者 RUNNING，如果一個(gè)隊(duì)列處于STOPPED狀態(tài)，用戶不可以將應(yīng)用程序提交到該隊(duì)列或者它的子隊(duì)列中，類似的，如果ROOT隊(duì)列處于STOPPED 狀態(tài)，用戶不可以向集群中提交應(yīng)用程序，但正在運(yùn)行的應(yīng)用程序仍可以正常運(yùn)行結(jié)束，以便隊(duì)列可以優(yōu)雅地退出。

（2）  acl_submit_applications：限定哪些Linux用戶/用戶組可向給定隊(duì)列中提交應(yīng)用程序。需要注意的是，該屬性具有繼承性，即如果一個(gè)用戶可以向某個(gè)隊(duì)列中提交應(yīng)用程序，則它可以向它的所有子隊(duì)列中提交應(yīng)用程序。配置該屬性時(shí)，用戶之間或用戶組之間用“，”分割，用戶和用戶組之間用空格分割，比如“user1, user2 group1,group2”。

（3）  acl_administer_queue：為隊(duì)列指定一個(gè)管理員，該管理員可控制該隊(duì)列的所有應(yīng)用程序，比如殺死任意一個(gè)應(yīng)用程序等。同樣，該屬性具有繼承性，如果一個(gè)用戶可以向某個(gè)隊(duì)列中提交應(yīng)用程序，則它可以向它的所有子隊(duì)列中提交應(yīng)用程序。

一個(gè)配置文件實(shí)例如下：

<configuration> 
  <property> 
    <name>yarn.scheduler.capacity.maximum-applications</name> 
    <value>10000</value> 
    <description>最多可同時(shí)處于等待和運(yùn)行狀態(tài)的應(yīng)用程序數(shù)目</description> 
  </property> 
  
  <property> 
    <name>yarn.scheduler.capacity.maximum-am-resource-percent</name> 
    <value>0.1</value> 
    <description>集群中可用于運(yùn)行application master的資源比例上限，這通常用于限制并發(fā)運(yùn)行的應(yīng)用程序數(shù)目。</description> 
  </property> 
  
  <property> 
    <name>yarn.scheduler.capacity.root.queues</name> 
    <value>default</value> 
    <description>root隊(duì)列的所有子隊(duì)列，該實(shí)例中只有一個(gè)</description> 
  </property> 
  
  <property> 
    <name>yarn.scheduler.capacity.root.default.capacity</name> 
    <value>100</value> 
    <description>default隊(duì)列的資源容量</description> 
  </property> 
  
  <property> 
    <name>yarn.scheduler.capacity.root.default.user-limit-factor</name> 
    <value>1</value> 
    <description> 
     每個(gè)用戶可使用的資源限制 
    </description> 
  </property> 
  
  <property> 
    <name>yarn.scheduler.capacity.root.default.maximum-capacity</name> 
    <value>100</value> 
    <description> 
      Default隊(duì)列可使用的資源上限. 
    </description> 
  </property> 
  
  <property> 
    <name>yarn.scheduler.capacity.root.default.state</name> 
    <value>RUNNING</value> 
    <description> 
     Default隊(duì)列的狀態(tài)，可以是RUNNING或者STOPPED. 
    </description> 
  </property> 
  
  <property> 
    <name>yarn.scheduler.capacity.root.default.acl_submit_applications</name> 
    <value>*</value> 
    <description> 
      限制哪些用戶可向default隊(duì)列中提交應(yīng)用程序. 
    </description> 
  </property> 
  
  <property> 
    <name>yarn.scheduler.capacity.root.default.acl_administer_queue</name> 
    <value>*</value> 
    <description> 
限制哪些用戶可管理default隊(duì)列中的應(yīng)用程序，“*”表示任意用戶 
</description> 
  </property> 
  
  <property> 
    <name>yarn.scheduler.capacity.node-locality-delay</name> 
    <value>-1</value> 
    <description>調(diào)度器嘗試調(diào)度一個(gè)rack-local container之前，最多跳過的調(diào)度機(jī)會(huì)，通常而言，該值被設(shè)置成集群中機(jī)架數(shù)目，默認(rèn)情況下為-1，表示不啟用該功能。 
    </description> 
  </property> 
</configuration> 

原文鏈接：http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-capacity-scheduler/