1、启动服务顺序 ##在每个节点上把zookeeper服务启动zkserver.sh start##在某一namenode节点上执行如下命令,创建命名空间hdfs zkfc -formatzk##在每个节点用如下命令启日志程序hadoop-daemon.sh start journalnode##在主namenode节点格式化namenode和journa
1、启动服务顺序
##在每个节点上把zookeeper服务启动zkserver.sh start##在某一namenode节点上执行如下命令,创建命名空间hdfs zkfc -formatzk##在每个节点用如下命令启日志程序hadoop-daemon.sh start journalnode##在主namenode节点格式化namenode和journalnode目录hadoop namenode -format mycluster##在主namenode节点启动namenode进程hadoop-daemon.sh start namenode##如下命令是把备namenode节点的目录格式化并把元数据从主namenode节点拷贝过来hdfs namenode -bootstrapstandby##启动备节点的namenodehadoop-daemon.sh start namenode##在两个namenode节点都启动zkfc服务hadoop-daemon.sh start zkfc##在所有的datanode节点上启动datanodehadoop-daemon.sh start datanode
2、当把两个namenode都处于standby时需要将一个namenode激活
hdfs haadmin -transitiontoactive namenode1
3、yarn的ui端口默认为8088
4、当用stop-all.sh不能关掉hadoop相关进程时,可以到系统根目录(/tmp)找对应的pid文件,然后打开如下文件,看里面的内容与在命令行运行的jps出来的内容是否一致,如果不一直把对应的pid文件里的进程号改成正在运行的进程号,然后再stop-all.sh就可以正常关闭了。
18726 hmaster29320 journalnode18927 quorumpeermain21288 datanode21051 namenode22221 resourcemanager23618 jps22368 nodemanager29651 dfszkfailovercontroller23961 gstartkeeper24283 bootstrap
hadoop-root-datanode.pid hadoop-root-journalnode.pid hadoop-root-namenode.pid ...
[root@s1sf001 tmp]# cat hadoop-root-namenode.pid21051
错误汇总
1、java.io.ioexception: cannot start an ha namenode with name dirs that need recovery. dir: storage directory /app/hadoop/hdfs/name state: not_formatted
当在standby节点启动namenode时报以上错误,解决办法:
(1)执行:hadoop namenode -bootstrapstandby
(2)再次启动standby节点上的namenode:hadoop-daemon.sh start namenode