您好,欢迎访问一九零五行业门户网

hadoop2.2.0伪分布式安装

修改主机名和ip的映射关系 vi /etc/hosts 192.168.61.134hadoop 关闭防火墙 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkconfig iptables --list #关闭防火墙开机启动 chkconfig iptables off
修改主机名和ip的映射关系
vi /etc/hosts
192.168.61.134hadoop
关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
重启linux
reboot
安装jdk
上传jdk文件到linux中
解压jdk
创建文件夹
mkdir /usr/java
在/usr/java目录下安装
chmod 755 jdk-6u45-linux-i586.bin
安装
./jdk-6u45-linux-i586.bin
安装完成之后
重命名jdk的安装文件夹为jdk
将java添加到环境变量中
vi /etc/profile
#在文件最后添加
export java_home=/usr/java/jdk
export path=$path:$java_home/bin
刷新配置
source /etc/profile
安装hadoop
上传hadoop安装包到hadoop宿主目录下
解压hadoop安装包到hadoop根目录
tar -zxvf hadoop-2.2.0-64bit.tar.gz
修改配置文件(5个)
第一个:hadoop-env.sh
#在27行修改
export java_home=/usr/java/jdk
第二个:core-site.xml
fs.defaultfs
hdfs://hadoop:9000
hadoop.tmp.dir
/home/hadoop/hadoop/tmp
第三个:hdfs-site.xml
dfs.replication
1
第四个:mapred-site.xml.template 需要重命名: mv mapred-site.xml.template mapred-site.xml
mapreduce.framework.name
yarn
第五个:yarn-site.xml
yarn.nodemanager.aux-services
mapreduce_shuffle
3.4将hadoop添加到环境变量
vi /etc/profile
export java_home=/usr/java/jdk
export hadoop_home=/home/hadoop/hadoop
export path=$path:$java_home/bin:$hadoop_home/bin
source /etc/profile
3.5格式化hdfs(namenode)第一次使用时要格式化
hadoop namenode -format
3.6启动hadoop
先启动hdfs
sbin/start-dfs.sh
再启动yarn
sbin/start-yarn.sh
3.7验证是否启动成功
使用jps命令验证
27408 namenode
28218 jps
27643 secondarynamenode
28066 nodemanager
27803 resourcemanager
27512 datanode
http://hadoop:50070  (hdfs管理界面)
在这个文件中添加linux主机名和ip的映射关系
c:\windows\system32\drivers\etc\hosts
192.168.61.134 hadoop
http://hadoop:8088 (mr管理界面)
4.配置ssh免登陆
在服务器上
输入命令
chmod -r 755 /home/hadoop
mkdir ~/.ssh
 ssh-keygen -t rsa
ssh-keygen -t dsa
rsa和dsa分别生成不同加密格式的ssh密钥,直接一直按回车键保存在默认的路径
在节点上配置authorized_keys文件
输入命令
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
将本地的密钥保存在authorized_keys
输入命令
chmod -r 700 ~/.ssh
注意当前你所在的路径
其它类似信息

推荐信息