Linux下Hadoop伪分布式安装及配置步骤

目录

一、关闭防火墙

二、绑定主机名与ip地址

三、设置ssh免密登录

四、安装jdk

五、安装配置Hadoop

(1)上传到Linux后解压安装:

(2)配置hadoop

*配置hadoop-env.sh文件

*配置core-site.xml文件

*配置hdfs-site.xml 文件

*配置mapred-site.xml 文件 

*配置yarn-site.xml文件

六、配置hadoop环境变量

(1)使用root用户

(2)到hadoop安装用户下:

(3)格式化hdfs

七、启动伪分布

八、验证hadoop9870、8088端口


实现hadoop伪分布的配置,提供配置环境的搭建以及安装压缩包。

一、关闭防火墙

关闭防火墙(root用户)

临时:service iptables stop

查看状态:service iptables status

永久:chkconfig iptables off

查看状态:chkconfig --list | grep iptables

二、绑定主机名与ip地址

vim /etc/hosts

(注意使用root用户,自己的ip与主机名,中间空格)

三、设置ssh免密登录

ssh-keygen -t rsa

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

验证:ssh yourhostname

(一直回车就ok)

 测试一下:

(不需要密码,设置成功) 

四、安装jdk

参考:http://t.csdnimg.cn/l0dQv

五、安装配置Hadoop

这里网盘地址可下载:

链接:https://pan.baidu.com/s/1wjU-7AuqvVm5oD-4VUyU7g 

提取码:gves

(1)上传到Linux后解压安装:

tar -zxvf hadoop-3.3.0.tar.gz

 

(2)配置hadoop

进入hadoop-3.3.0/etc/hadoop/目录下

cd hadoop-3.3.0/etc/hadoop/
*配置hadoop-env.sh文件
vim hadoop-env.sh

添加内容 (自己的jdk安装路径)

export JAVA_HOME=/home/hadoop/soft/jdk1.8

*配置core-site.xml文件
vim core-site.xml

 添加内容

fs.defaultFS

hdfs://主机名:9000

hadoop.tmp.dir

/home/hadoop/soft/hadooptmp

(注意创建对应的hadooptmp文件夹:mkdir hadooptmp)

*配置hdfs-site.xml 文件
vim hdfs-site.xml

添加内容

dfs.replication

1

*配置mapred-site.xml 文件 
vim mapred-site.xml 

添加内容

 

mapreduce.framework.name

yarn

 

*配置yarn-site.xml文件
vim yarn-site.xml

 添加内容

yarn.nodemanager.aux-services

mapreduce_shuffle

 

六、配置hadoop环境变量

(1)使用root用户

vim /etc/profile

 内容:

export HADOOP_HOME=/home/hadoop/soft/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

(2)到hadoop安装用户下:

source /etc/profile

(3)格式化hdfs

hadoop namenode -format

 (查看hadooptmp目录如下,格式化成功)

 

七、启动伪分布

start-all.sh 

 查看节点:

八、验证hadoop9870、8088端口

192.168.43.41:9870

192.168.43.41:8088

(ip:端口)

HDFS NameNode 对用户的查询端口:9870

Yarn查看任务运行情况的端口:8088