您好,欢迎访问一九零五行业门户网

hadoop2.3.0 HA 配置

环境:rehl 6.4 ,apache hadoop 2.3.0 三台主机gtx1,gtx2,gtx3 构成hadoop集群,zookeeper已经正确配置并启动 1.1修改core-site.xml配置: property namefs.defaultfs/name valuehdfs://gtxcluster/value/propertyproperty nameha.zookeeper.quorum/name
环境:rehl 6.4 ,apache hadoop 2.3.0
三台主机gtx1,gtx2,gtx3 构成hadoop集群,zookeeper已经正确配置并启动
1.1修改core-site.xml配置:
fs.defaultfshdfs://gtxclusterha.zookeeper.quorumgtx1:2181,gtx2:2181,gtx3:2181
1.2修改hdfs-site.xml,添加如下配置:
dfs.nameservicesgtxclusterdfs.ha.namenodes.gtxclusternn1,nn2dfs.namenode.rpc-address.gtxcluster.nn1gtx3:9009dfs.namenode.rpc-address.gtxcluster.nn2gtx2:9009dfs.namenode.http-address.gtxcluster.nn1gtx3:50070dfs.namenode.http-address.gtxcluster.nn2gtx2:50070dfs.namenode.shared.edits.dirqjournal://gtx3:8485;gtx2:8485;gtx1:8485/gtxclusterdfs.client.failover.proxy.provider.gtxclusterorg.apache.hadoop.hdfs.server.namenode.ha.configuredfailoverproxyproviderdfs.ha.fencing.methodsshell(/bin/true)fs.defaultfshdfs://gtxclusterdfs.journalnode.edits.dir/data/hadoop/data/journaldfs.ha.automatic-failover.enabledtrue
2启动服务
2.1初始化zookeeper
在nn1上执行:
hdfs zkfc -formatzk
2.2在所有journalnode节点上启动journalnode
hadoop-daemon.sh start journalnode
2.3格式化nn1(如果是新集群),在nn1上执行hadoop namenode -format
*初始化journalnode*实测结果表明在2.3.0中此步做不做都不影响,考虑到操作完整性还是建议做hdfs namenode -initializesharededits
2.4启动nn1:在nn1节点上执行:hadoop-daemon.sh start namenode

2.5让nn2从nn1上拉去fsimage,在nn2上执行:hdfs namenode -bootstrapstandby
2.6启动nn2,在nn2上执行:hadoop-daemon.sh start namenode

此时nn1和nn2都处于standby状态,因为在hdfs-site.xml中配置了dfs.ha.automatic-failover.enabled参数为true,所以不能通过手工方式切换状态,需要依赖zkfc
2.7启动所有datanode,在nn1上执行:hadoop-daemons.sh start datanode
2.8 启动zkfc,实现ha的自动切换,启动zkfc后,先启动的nn会自动进入active状态,另一个仍保持standby状态在nn1上和nn2上分别执行:
hadoop-daemon.sh start zkfc
3 检查集群状态和进程状态3.1 在任意nn上执行 jps显示进程如下:
hadoop@gtx3 bin]$ jps
6496 jps
6439 dfszkfailovercontroller
5712 journalnode
6077 namenode
6293 datanode
23504 quorumpeermain
3.2查看nn状态 
在任意nn上执行:
hdfs haadmin  -getservicestate  nn1 结果显示为active
hdfs haadmin  -getservicestate  nn2 结果显示为stanby
备注:如果没有配置自动ha,则可以通过hdfs dfsadmin -transitiontoactive nnx 将其中一个nn手动切换为active状态,切换成standby状态同理,使用 -transitiontostandby参数、
其它类似信息

推荐信息