Hadoop MapReduce优化和资源调度器

如题所述

第1个回答  2022-07-23

将所有应用程序放入到一个队列中

局限性

所有资源按照比例划分到不同的队列

每个队列可以实现单独的调度策略

优点

调度器

CapacityScheduler

在yarn-site.xml 设置使用CapacityScheduler调度器

在Hadoop配置文件目录下/usr/local/hadoop/etc/hadoop创建capacity-scheduler.xml,添加信息如下:

配置说明

FairScheduler

公平调度器的目的:

FairScheduler配置方法
在Hadoop配置目录下/usr/local/hadoop/etc/hadoop yarn-site.xml 增加如下信息:

新建一个公平调度配置文件fair-scheduler.xml ,信息如下:

上述配置以 data_bi 用户名作为公平调度的队列名称。

yarn-site.xml参数说明

fair-scheduler.xml参数说明

将所有应用程序放入到一个队列中

所有资源按照比例划分到不同的队列

每个队列可以实现单独的调度策略

优点

调度器

CapacityScheduler

在yarn-site.xml 设置使用CapacityScheduler调度器

在Hadoop配置文件目录下/usr/local/hadoop/etc/hadoop创建capacity-scheduler.xml,添加信息如下:

配置说明

FairScheduler

公平调度器的目的:

FairScheduler配置方法
在Hadoop配置目录下/usr/local/hadoop/etc/hadoop yarn-site.xml 增加如下信息:

新建一个公平调度配置文件fair-scheduler.xml ,信息如下:

上述配置以 data_bi 用户名作为公平调度的队列名称。

yarn-site.xml参数说明

fair-scheduler.xml参数说明

如果Hadoop启动时,2个名称节点均无法启动,且namenode日志出现如下错误:

是由于使用了root曾启动过hadoop HDFS,因此hadoop用户没有权限访问此文件,因此可以采用以下操作进行恢复。