安装hadoop的时候每次重新安装都有些配置会记不太清楚，要去查询很麻烦这次做了个笔记，在这里和大家分享下，如果内容有错误，请指正。因为是从word中复制出来的截的图片都没了，可以从下面链接中下载到word原版！之前没有写博客的习惯，以后会陆续分享一些
安装hadoop的时候每次重新安装都有些配置会记不太清楚，要去查询很麻烦这次做了个笔记，在这里和大家分享下，如果内容有错误，请指正。因为是从word中复制出来的截的图片都没了，可以从下面链接中下载到word原版！之前没有写博客的习惯，以后会陆续分享一些之前的笔记!
http://pan.baidu.com/s/1gdkdecb
吃水不忘挖井人，hadoop集群配置相关内容很多都参考了吴超的博客，这里把他的博客的地址也贴出来，里面有很多文章写得很好，建议有兴趣的朋友去看看。
http://www.superwu.cn/author/admin/
1.1 安装虚拟机1.1.1 安装虚拟机网上教程很多就不写了1.2 配置虚拟机1.2.1 修改主机名1.2.1.1. 查看主机名[root@hadoop1 ~]# hostname
hadoop1
1.2.1.2. 修改主机名[root@hadoop1 ~]# vi /etc/sysconfig/network
networking=yes
hostname=hadoop1
1.3 配置ip地址
使用ifconfig命令查看当前网络配置
ping ip 查看当前主机和目标ip机器是否可以互相访问
telnet ip port 查看当前主机是否可以访问目标机器的port端口
wget http://www.baidu.com wget命令用于下载文件，直接wget 百度的地址可以用于测试当前主机是否可以访问外网，因为在编译hadoop源码的时候当前机器必须可以访问外网
1.3.1 如果网络有问题则需要重新设置网络1.3.1.1. 设置虚拟机的网络
选则桥接模式，并且把桥接到这个选项选择为当前物理机上网用的那个网卡，我使用无线上网的，并且我的有线网络配置都是关闭的，所以这里只有一个选项。
1.3.2 编辑虚拟机ip配置文件vi /etc/sysconfig/network-scripts/ifcfg-eth0
配置内容如下，建议注释掉所有ipv6相关的配置（在启动resourcemanage的时候可能会报错，我在启动的时候报了一个错吧ipv6相关的配置关掉就好了）
device=eth0
bootproto=static #静态ip
#ipv6init=yes
nm_controlled=yes
onboot=yes #启动的时候自动配置网络
type=ethernet
#uuid=2d678a8b-6c40-4ebc-8f4e-245ef6b7a969
netmask=255.255.255.0 #子网掩码 和物理机一样
gateway=192.168.1.1 #网关ip和物理机一样
ipaddr=192.168.1.201 #ip地址和物理机在同一个网段
prefix=24
dns1=101.226.4.6 #nds服务地址 和物理机一样
defroute=yes
ipv4_failure_fatal=yes
#ipv6_autoconf=yes
#ipv6_defroute=yes
#ipv6_failure_fatal=no
name=system eth0
hwaddr=00:0c:29:92:e5:b7 #mac地址需要和/etc/udev/rules.d/70-persistent-net.rules 文件中一致
#ipv6_peerdns=yes
#ipv6_peerroutes=yes
last_connect=1397965330
1.3.3 配置完重启网卡 sudo service network restart （如果sudo命令无法使用设置方法详见附录1）
1.3.4 如果虚拟机是复制过来的重启网卡可能会报错，1.3.4.1. 解决方法1删除rm /etc/udev/rules.d/70-persistent-net.rules
然后重启虚拟机，再重启网卡
1.3.4.2. 解决方法2查看/etc/udev/rules.d/70-persistent-net.rules文件的内容，有时候这个文件中会有两个subsystem配置，删除name = eth* 只保留name = eth0 的配置，然后在重启网卡
1.3.4.3. 解决方法3查看/etc/udev/rules.d/70-persistent-net.rules文件的内容，如果只有一个配置 name=“eth1”，并且/etc/sysconfig/network-scripts/ifcfg-eth0中的配置都没问题，使用下面命令
mv /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-scripts/ifcfg-eth1
然后重启网卡
ps：我遇到过的问题就么多，如果遇到其他问题以上方法都不能搞定就找度娘吧，我也没辙了。
1.4 配置hosts文件（主机名和ip地址映射）这个文件中配置ip地址和主机名的映射关系，需要把集群中的所有机器的ip和主机名映射都加进来
1.5 配置ssh免密码登陆生成公钥和私钥
ssh-keygen -t rsa
进入 ～/.ssh 目录
cat id_rsa.pub >> authorized_keys
然后使用ssh localhost命令测试ssh是否配置正确
有时候会出现ssh免密码登陆失败的情况，可以按照下面方法处理
sudo chmod 644 ~/.ssh/authorized_keys
sudo chmod 700 ~/.ssh
ubuntu下测试ssh时使用ssh localhost 命令，出现错误提示connect to host localhost port 22:connection refused
造成这个错误的原因可能是ssh-server未安装或者未启动。ubuntu 11.10 默认安装openssh-client，但是木有安装server
运行 ps -e | grep ssh，查看是否有sshd进程
如果没有，说明server没启动，通过 /etc/init.d/ssh -start 启动server进程，如果提示ssh不存在 那么就是没安装server
通过 sudo apt-get install openssh-server命令安装即可
1.6 安装jdk1.6.1 下载jdk从oracle的官网下载最新版的jdk，需要选择linux版的（注意选择是64位和32位版本，视服务器而定）
jdk下载地址
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
个人习惯用tar.gz包安装
下载好后把jdk文件上传到服务器，也可以直接在服务器上执行下载
wget http://download.oracle.com/otn-pub/java/jdk/8u5-b13/jdk-8u5-linux-x64.tar.gz
1.6.2 解压安装1.6.2.1. 解压tar –zxvf jdk-8u5-linux-x64.tar.gz
1.6.2.2. 配置环境变量(因为真实的现网环境会有很多个用户，每个用户可能需要使用不同的jdk版本所以jdk配置只需要当前用户生效即可)
vi ~/.bashrc
export java_home=/home/hadoop/software/jdk1.7.0_51
classpath=.:$java_home/lib/dt.jar:$java_home/lib/tools.jar
export path=$java_home/bin: $path
1.6.2.3. 验证是否安装成功java –version
如果如下图所示能正确显示版本号即为安装成功
1.7 安装maven1.7.1 下载安装maven官方提示maven版本要在3.0以上，尽量安装最新版的（下面是编译hadoop的软件配置）
jdk 1.6+
* maven 3.0 or later
* findbugs 1.3.9 (if running findbugs)
* protocolbuffer 2.5.0
* cmake 2.6 or newer
下载maven
wget http://mirrors.hust.edu.cn/apache/maven/maven-3/3.2.1/binaries/apache-maven-3.2.1-bin.tar.gz
1.7.2 配置maven1.7.2.1. 修改仓库地址在${ maven_home }/conf/settings.xml文件中找到mirrors节点在中间加入 下面红色部分配置（默认如果不修改的话是使用国外的中央仓库，hadoop在编译的时候maven会下载很多jar文件，国外的中央仓库下载比较慢，这里使用开源中国提供的maven仓库，下载速度比较快一点）
nexus-osc
*
nexus osc
http://maven.oschina.net/content/groups/public/
1.7.2.2. 修改settings.xml中本地仓库目录地址找到localrepository节点中间的地址改为存放mavne下载文件的目录地址(目录需提前建立，如果不配置此项，默认现在的文件存放在当前用户home目录下的 .me文件夹中)
localrepository>/home/hadoop/repo
1.7.2.3. 配置环境变量在 .bashrc 文件中加入以下配置
export maven_home=/home/hadoop/software/apache-maven-3.1.1
export path=$maven_home/bin:$path
1.7.2.4. 验证是否安装成功mvn –version
如果如下图所示能正确显示版本号即为安装成功
1.8 安装protoclbuffer1.8.1.1. 下载解压下载地址https://code.google.com/p/protobuf/downloads/list
wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz
tar –zxvf protobuf-2.5.0.tar.gz
1.8.1.2. 安装./configure --prefix=/home/hadoop/software/protobuf
prefix 参数用于指定安装路径
make
ake install
1.8.1.3. 配置环境变量export protoc_home=/home/hadoop/software/protobuf
path=$protoc_home/bin:$path
1.8.1.4. 验证是否安装成功protoc –version
如果如下图能正确显示版本号 即为安装成功
1.9 安装cmake1.9.1 下载解压下载地址：http://www.cmake.org/cmake/resources/software.html
wget http://221.178.162.232/data4/06/f1/4c/96/df/b6/c5/4e/70/41/4c/48/c4/05/aa/88/cmake-2.8.12.2.tar.gz
解压 tar –zxvf cmake-2.8.12.2.tar.gz
1.9.2 安装./bootstrap –prefix=/home/hadoop/software/cmake
make
make install
1.9.2.1. 配置环境变量export cmake_home=/home/hadoop/software/cmake
path=$ cmake_home/bin:$path
1.9.2.2. 验证是否安装成功cmake –version
如果如下图能正确显示版本号 即为安装成功
1.10 安装其他依赖软件yum install openssl-devel
yum install ncurses-devel
1.11 下载hadoop源码下载地址：http://apache.fayea.com/apache-mirror/hadoop/common/hadoop-2.4.0/
wget http://apache.fayea.com/apache-mirror/hadoop/common/hadoop-2.4.0/hadoop-2.4.0-src.tar.gz
解压
tar –zxvf hadoop-2.4.0-src.tar.gz
1.12 编译hadoop目录/usr/local/hadoop-2.4.0-src中，执行命令
mvn package -dskiptests -pdist,native
漫长的等待之后就是见证奇迹的时刻了（maven编译结束提示编译成功的时候），编译后的代码在/usr/local/hadoop-2.2.0-src/hadoop-dist/target下面
验证编译完是不是64位的，我的虚拟机是32位的 所以执行后显示32位，
file lib/native/libh
1.13 伪分布式配置进入cd hadoop-2.4.0/etc/hadoop/
给所有的.sh 文件增加可执行权限
chmod +x *.sh
1.13.1 修改hadoop-env.shvi hadoop-env.sh
找到
export java_home=${java_home}
修改为
export java_home=/home/hadoop/software/jdk1.7.0_51
1.13.2 修改core-site.xml在configuration节点中增加
property>
name>fs.defaultfsname>
value>hdfs://hadoop1:9000value>
property>
property>
name>hadoop.tmp.dirname>
value>/home/hadoop/hadoop/hadoop-2.4.0/data/tmpvalue>
property>
1.13.3 修改mapred-site.xmlmv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
在configuration节点中增加
property>
name>mapreduce.framework.namename>
value>yarnvalue>
property>
1.13.4 修改hdfs-site.xml在configuration节点中增加
property>
name>dfs.replicationname>
value>1value>
property>
1.13.5 修改yarn-site.xml在configuration节点中增加
property>
name>yarn.nodemanager.aux-servicesname>
value>mapreduce_shufflevalue>
property>
property>
name>yarn.resourcemanager.addressname>
value>hadoop1:8032value>
property>
property>
name>yarn.resourcemanager.resource-tracker.addressname>
value>hadoop1:8031value>
property>
property>
name>yarn.resourcemanager.admin.addressname>
value>hadoop1:8033value>
property>
property>
name>yarn.resourcemanager.scheduler.addressname>
value>hadoop1:8030value>
property>
property>
name>yarn.web-proxy.addressname>
value>hadoop1:8888value>
property>
property>
name>yarn.nodemanager.aux-services.mapreduce.shuffle.classname>
value>org.apache.hadoop.mapred.shufflehandlervalue>
property>
1.13.6 配置文件附件
1.13.7 启动hadoop1.13.7.1. 格式化namenodebin/hadoop namenode –format
1.13.7.2. 启动伪分布式集群sbin/start-all.sh
查看是否启动成功
jps
1.13.7.3. 执行常用shell命令测试集群bin/hadoop fs –ls /
…
1.13.7.4. 使用浏览器访问查看集群状态http://hadoop1:50070
其中hadoop1为namenode的hostname 或者直接使用ip也可以
查看resourcemanager上cluster运行状态
http://hadoop1:8088/cluster
其中hadoop1为resourcemanager的hostname 或者直接使用ip也可以（这里是伪分布模式namenode和resourcemanager都在同一台机器上运行，所以都直接用当前这个虚拟机的主机名就可以访问）
1.14 配置集群模式1.14.1 简介hadoop中的namenode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个namenode。如果该namenode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现，如图1所示。
图1
hadoop2就解决了这个问题。hadoop2.2.0中hdfs的高可靠指的是可以同时启动2个namenode。其中一个处于工作状态，另一个处于随时待命状态。这样，当一个namenode所在的服务器宕机时，可以在数据不丢失的情况下，手工或者自动切换到另一个namenode提供服务。
这些namenode之间通过共享数据，保证数据的状态一致。多个namenode之间共享数据，可以通过network file system或者quorum journal node。前者是通过linux共享的文件系统，属于操作系统的配置；后者是hadoop自身的东西，属于软件的配置。
我们这里讲述使用quorum journal node的配置方式，方式是手工切换。
集群启动时，可以同时启动2个namenode。这些namenode只有一个是active的，另一个属于standby状态。active状态意味着提供服务，standby状态意味着处于休眠状态，只进行数据同步，时刻准备着提供服务，如图2所示。
图2
1.14.2 架构在一个典型的ha集群中，每个namenode是一台独立的服务器。在任一时刻，只有一个namenode处于active状态，另一个处于standby状态。其中，active状态的namenode负责所有的客户端操作，standby状态的namenode处于从属地位，维护着数据状态，随时准备切换。
两个namenode为了数据同步，会通过一组称作journalnodes的独立进程进行相互通信。当active状态的namenode的命名空间有任何修改时，会告知大部分的journalnodes进程。standby状态的namenode有能力读取jns中的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。standby可以确保在集群出错时，命名空间状态已经完全同步了，如图3所示。
图3
为了确保快速切换，standby状态的namenode有必要知道集群中所有数据块的位置。为了做到这点，所有的datanodes必须配置两个namenode的地址，发送数据块位置信息和心跳给他们两个。
对于ha集群而言，确保同一时刻只有一个namenode处于active状态是至关重要的。否则，两个namenode的数据状态就会产生分歧，可能丢失数据，或者产生错误的结果。为了保证这点，jns必须确保同一时刻只有一个namenode可以向自己写数据。
1.14.3 集群机器职责规划主机名
ip
namenode
resourcemanager
journalnode
datanode
nodemanager
hadoop1
192.168.1.201
是
否
是
是
是
hadoop2
192.168.1.202
是
否
是
是
是
hadoop3
192.168.1.203
否
是
是
是
是
1.14.4 配置集群每个机器ip、主机名、host映射、ssh免密码登陆1.14.5 配置hadoop配置文件vi hadoop-env.sh
找到
export java_home=${java_home}
修改为
export java_home=/home/hadoop/software/jdk1.7.0_51
1.14.1 修改core-site.xml在configuration节点中增加
这种方法配置简单，推荐使用。
fs.defaultfs 客户端连接hdfs时，默认的路径前缀。如果前面配置了nameservice id的值是mycluster，那么这里可以配置为授权信息的一部分。
可以在core-site.xml中配置如下
fs.defaultfs
hdfs://mycluster
hadoop.tmp.dir
/home/hadoop/hadoop/hadoop-2.4.0/data/tmp
dfs.journalnode.edits.dir 这是journalnode进程保持逻辑状态的路径。这是在linux服务器文件的绝对路径。配置如下
dfs.journalnode.edits.dir
/home/hadoop/hadoop/hadoop-2.4.0/data/journal
1.14.2 修改mapred-site.xmlmv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
在configuration节点中增加
property>
name>mapreduce.framework.namename>
value>yarnvalue>
property>
1.14.3 修改hdfs-site.xml在configuration节点中增加
配置集群中的副本数
dfs.replication
2
dfs.nameservices 命名空间的逻辑名称。如果使用hdfs federation，可以配置多个命名空间的名称，使用逗号分开即可。
dfs.nameservices
mycluster
dfs.ha.namenodes.[nameservice id] 命名空间中所有namenode的唯一标示名称。可以配置多个，使用逗号分隔。该名称是可以让datanode知道每个集群的所有namenode。当前，每个集群最多只能配置两个namenode
dfs.ha.namenodes.mycluster
hadoop1,hadoop2
dfs.namenode.rpc-address.[nameservice id].[name node id] 每个namenode监听的rpc地址。如下所示
dfs.namenode.rpc-address.mycluster.hadoop1
hadoop1:8020
dfs.namenode.rpc-address.mycluster.hadoop2
hadoop2:8020
dfs.namenode.http-address.[nameservice id].[name node id] 每个namenode监听的http地址。如下所示
dfs.namenode.http-address.mycluster.hadoop1
hadoop1:50070
dfs.namenode.http-address.mycluster.hadoop2
hadoop2:50070
dfs.namenode.shared.edits.dir 这是namenode读写jns组的uri。通过这个uri，namenodes可以读写edit log内容。uri的格式qjournal://host1:port1;host2:port2;host3:port3/journalid。这里的host1、host2、host3指的是journal node的地址，这里必须是奇数个，至少3个；其中journalid是集群的唯一标识符，对于多个联邦命名空间，也使用同一个journalid。配置如下
dfs.namenode.shared.edits.dir
qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/mycluster
dfs.client.failover.proxy.provider.[nameservice id] 这里配置hdfs客户端连接到active namenode的一个java类
dfs.client.failover.proxy.provider.mycluster
org.apache.hadoop.hdfs.server.namenode.ha.configuredfailoverproxyprovider
dfs.ha.automatic-failover.enabled.mycluster
false
dfs.ha.fencing.methods 配置active namenode出错时的处理类。当active namenode出错时，一般需要关闭该进程。处理方式可以是ssh也可以是shell。
如果使用ssh，配置如下
dfs.ha.fencing.methods
sshfence
dfs.ha.fencing.ssh.private-key-files
/home/hadoop/.ssh/id_dsa
1.14.4 修改yarn-site.xml在configuration节点中增加
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.resourcemanager.hostname
hadoop3
1.14.5 启动集群以下是我写的一些脚本可以方便快速启动集群，还不是很智能化，增加节点或者主机名不一样都要重新修改脚本
initmycluster.sh 主要实现了 初始化集群的功能（把hadoop1节点的配置文件都同步到hadoop2和hadoop3上、删除日志文件、namenode元数据、删除datanote块数据，格式话两个namenode，然后启动集群，比较危险慎用）
startmycluster.sh 主要是按顺序启动集群中的服务
stopmycluster.sh 主要是停止集群中的所有服务
initmycluster文件配置详解
#把hadoop1上的配置文件都同步到hadoop2和hadoop3中
ssh hadoop1 'scp /home/hadoop/hadoop/hadoop-2.4.0/etc/hadoop/* hadoop2:/home/hadoop/hadoop/hadoop-2.4.0/etc/hadoop/'
ssh hadoop1 'scp /home/hadoop/hadoop/hadoop-2.4.0/etc/hadoop/* hadoop3:/home/hadoop/hadoop/hadoop-2.4.0/etc/hadoop/'
#清空初始化文件和日志文件
ssh hadoop1 'rm -rf /home/hadoop/hadoop/hadoop-2.4.0/data/tmp/*'
ssh hadoop2 'rm -rf /home/hadoop/hadoop/hadoop-2.4.0/data/tmp/*'
ssh hadoop3 'rm -rf /home/hadoop/hadoop/hadoop-2.4.0/data/tmp/*'
ssh hadoop1 'rm -rf /home/hadoop/hadoop/hadoop-2.4.0/logs/*'
ssh hadoop2 'rm -rf /home/hadoop/hadoop/hadoop-2.4.0/logs/*'
ssh hadoop3 'rm -rf /home/hadoop/hadoop/hadoop-2.4.0/logs/*'
#启动集群中的 journalnode
ssh hadoop1 '/home/hadoop/hadoop/hadoop-2.4.0/sbin/hadoop-daemon.sh start journalnode'
ssh hadoop2 '/home/hadoop/hadoop/hadoop-2.4.0/sbin/hadoop-daemon.sh start journalnode'
ssh hadoop3 '/home/hadoop/hadoop/hadoop-2.4.0/sbin/hadoop-daemon.sh start journalnode'
#启动hadoo1上的 namenode1
ssh hadoop1 '/home/hadoop/hadoop/hadoop-2.4.0/bin/hdfs namenode -format -clusterid mycluster'
ssh hadoop1 '/home/hadoop/hadoop/hadoop-2.4.0/sbin/hadoop-daemon.sh start namenode'
#s启动hadoop2上的 namenode2
ssh hadoop2 '/home/hadoop/hadoop/hadoop-2.4.0/bin/hdfs namenode -bootstrapstandby'
sleep 10
ssh hadoop2 '/home/hadoop/hadoop/hadoop-2.4.0/sbin/hadoop-daemon.sh start namenode'
sleep 10
#把hadoop1上的namenode置为active状态
ssh hadoop1 '/home/hadoop/hadoop/hadoop-2.4.0/bin/hdfs haadmin -failover --forceactive hadoop2 hadoop1'
#启动 datanode
ssh hadoop1 '/home/hadoop/hadoop/hadoop-2.4.0/sbin/hadoop-daemons.sh start datanode'
#启动 yarn（包括hadoop3上的resourcemanager和nodemanager、hadoop1和hadoop2上的nodemanager）
ssh hadoop3 '/home/hadoop/hadoop/hadoop-2.4.0/sbin/start-yarn.sh'
1.14.6 动态增加datanode1.14.7 切换namenodessh hadoop1 '/home/hadoop/hadoop/hadoop-2.4.0/bin/hdfs haadmin -failover --forceactive hadoop2 hadoop1'
可以吧hadoop1 上的namenode切换为active状态，
1.14.8 破坏式实验结束hadoop1上的namenode 进程然后执行
ssh hadoop1 '/home/hadoop/hadoop/hadoop-2.4.0/bin/hdfs haadmin -failover --forceactive hadoop1 hadoop2'
可以吧hadoop2 上的namenode切换为active状态，
然后在重新启动hadoop1上的namenode 还是可以自动加入到集群中
1.15 附录11.15.1 普通用户使用sudo命令visudo -f /etc/sudoers
在root all=(all) all 之后增加
hadoop all=(all) all
#hadoop为需要使用sudo命令的用户名
defaults:hadoop timestamp_timeout=-1,runaspw
//增加普通账户tom的sudo权限
//timestamp_timeout=-1 只需验证一次密码，以后系统自动记忆
//runaspw 需要root密码，如果不加默认是要输入普通账户的密码
ubuntu用户可以把需要用使用sudo命令的用户加入sudo组
sudo adduser hadoop sudo
1.16 附录2-常用命令1.16.1 添加用户useradd -d /home/hadoop -s /bin/bash -m hadoop
1.16.2 修改密码passwd hadoop
1.16.3 给脚本添加可执行权限chmod +x *.sh
1.16.4 vi编辑器替换命令:%s/vivian/sky/（等同于 :g/vivian/s//sky/） 替换每一行的第一个 vivian 为 sky
:%s/vivian/sky/g（等同于 :g/vivian/s//sky/g） 替换每一行中所有 vivian 为 sky
1.16.5 ubuntu vi不能正常使用决绝方法 重装一.执行命令 sudo apt-get remove vim-common
二.执行命令 sudo apt-get install vim
1.17 用命令行方式关闭centos防火墙 #/sbin/iptables -i input -p tcp --dport 80 -j accept
#/sbin/iptables -i input -p tcp --dport 22 -j accept
#/etc/rc.d/init.d/iptables save