Hadoop伪分布式配置以及完全分布式

Hadoop建造伪分布式里面的配置文件,需要修改5个配置文件,代码如下,主要是用于方便

环境变量

Java

export JAVA_HOME=/opt/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin

Hadoop

export HADOOP_HOME=/opt/hadoop3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:9000</value>
	</property>

        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/opt/hadoop3.1/tmp</value>
        </property>
</configuration>

core-site.xml(完全)

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://master:9000</value> 
	</property>

                 <property>
		<name>io.file.buffer.size</name>
		<value>131072</value> 
	</property>

               <property>
                                <name>hadoop.tmp.dir</name>
                                <value>file:/opt/hadoop3.1/tmp</value>
                </property>
</configuration>

hadoop-env.sh

export JAVA_HOME=/opt/jdk1.8  

hdfs-site.xml

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/opt/hadoop3.1/dfs/name</value> 
        </property>

        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/opt/hadoop3.1/dfs/data</value>  
        </property>

        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

hdfs-site.xml(完全)

<configuration>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/opt/hadoop3.1/dfs/name</value>  
        </property>

        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/opt/hadoop3.1/dfs/data</value>  
        </property>

        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
</configuration>

mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

mapred-site.xml(完全)

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>

        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>

yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>  <!--主机名-->
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

yarn-site.xml(完全)

<configuration>

        <property>
                <name>yarn.resourcemanager.address</name>
                <value>master:8032</value>
        </property>

        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>master:8030</value>
        </property>

        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>master:8031</value>
        </property>

        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>master:8033</value>
        </property>

        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>master:8088</value>
        </property>

        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>

</configuration>

接下来就是别的配置,如果是2.7的可以不用看了直接初始化全部启动即可,如果是3.2/3.1之类的,就需要再进行修改下面文件

打开 /hadoop/sbin 这个目录,修改(start-dfs.sh、stop-dfs.sh)、(start-yarn.sh、stop-yarn.sh),再到顶部添加下面代码

start-dfs.sh、stop-dfs.sh

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.sh、stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

然后就全部OK,输入下面指令进行初始化然后全部启动

hdfs namenode -format

然后进入sbin文件夹进行全部启动

./start-all.sh

然后jps,出现下面这几项就基本OK了

然后输入自己 IP+9870 就可以了

Comments | 2 条评论
  • 流量卡知识网

    你好,看完你的博客文章,感觉很不错!希望与你网站首页友情链接
    流量卡知识网
    http://53go.cn/
    专注于移动/联通/电信推出的大流量多语音活动长短期套餐手机卡的相关知识的介绍普及

    听说互换友情链接可以增加网站的收录量,特此来换,如果同意的话就给internetyewu@163.com[微信ganenboy]发信息或者就在此回复下吧!

    湖北省 • 武汉市
消息盒子
# 您需要首次评论以获取消息 #
# 您需要首次评论以获取消息 #

只显示最新10条未读和已读信息