5. Hadoop集群操作
5.1 启动Hadoop集群
5.1.1 格式化文件系统
如果集群是第一次启动,需要在hadoop102节点格式化NameNode。
注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。如果集群在运行过程中报错,需要重新格式化NameNode的话,一定要先停止namenode和datanode进程,并且要删除所有机器的data和logs目录,然后再进行格式化。
[li@hadoop102 ~]$ hdfs namenode -format
# 或者
[li@hadoop102 ~]$ hadoop namenode -format
执行上述任意一条命令均可以进行Hadoop集群格式化。执行格式化指令之后,出现: has been successfully formatted.信息,表明HDFS文件系统成功格式化,即可正式启动集群;否则,需要查看命令是否正确,或者安装配置是否正确。
5.1.2 启动Hadoop进程
Hadoop集群的启动,需要启动其内部的两个集群框架,HDFS集群和YARN集群。启动方式有单节点逐个启动和使用脚本一键启动两种。
- 启动HDFS
[li@hadoop102 sbin]$ start-dfs.sh
Starting namenodes on [hadoop102]
Starting datanodes
hadoop104: WARNING: /opt/module/hadoop-3.1.3/logs does not exist. Creating.
hadoop103: WARNING: /opt/module/hadoop-3.1.3/logs does not exist. Creating.
Starting secondary namenodes [hadoop104]
- 启动YARN
在配置了ResourceManager的节点(hadoop103)启动YARN
[li@hadoop103 sbin]$ start-yarn.sh
Starting resourcemanager
Starting nodemanagers
5.2 监控Hadoop集群
Hadoop集群有相关的服务监控端口,方便用户对Hadoop集群的资源、任务运行状态等信息有更直观的了解,具体如下表:
服务 | Web接口 | 默认端口 |
---|---|---|
NameNode | http://namenode_host:port/ | 9870 |
ResourceManager | http://resourcemanager_host:port/ | 8088 |
MapReduce JobHistoryServer | http://jobhistroyserver_host:port/ | 19888 |
5.2.1 HDFS监控
Web端查看HDFS的NameNode:
(a)浏览器中输入:http://hadoop102:9870
- Overview
- 记录了NameNode的启动时间、版本号、编译版本等一些基本信息。
- Summary
- 记录集群信息。
- 提供了当前集群环境的一些有用信息,同时还标注了当前集群环境中DataNode的信息,对活动状态的DataNode也专门进行了记录。
- NameNode Storage
- 提供了NameNode的信息,最后的State标示此节点为活动节点,可正常提供服务。
依次选择“Utilities”→“Browse the file system”命令可以查看HDFS上的文件信息。
(b)查看HDFS上存储的数据信息
(c)查看Hadoop进程
[li@hadoop102 hadoop-3.1.3]$ jps
2384 NameNode
3153 Jps
2889 NodeManager
2555 DataNode
5.2.2 YARN监控
Web端查看YARN的ResourceManager:
(a)浏览器中输入:http://hadoop103:8088
(b)查看YARN上运行的Job信息
[li@hadoop103 hadoop-3.1.3]$ jps
3024 Jps
2528 NodeManager
2388 ResourceManager
2184 DataNode
5.2.3 日志监控
Web端查看Hadoop的日志监控界面即JobHistroy:
(a)在浏览器中地址栏中输入http://hadoop102:19888
5.3 Hadoop集群基本测试
5.3.1 上传文件到集群
- 创建input目录,上传小文件
[li@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /input
[li@hadoop102 hadoop-3.1.3]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input
2022-08-24 15:09:10,390 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
上传完成后可以在浏览器中查看内容:
- 上传大文件到/目录
[li@hadoop102 hadoop-3.1.3]$ hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /
2022-08-24 15:16:02,641 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
2022-08-24 15:16:03,912 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
5.3.2 查看文件
- 查看HDFS文件存储路径
[li@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1775777091-192.168.10.132-1661323073082/current/finalized/subdir0/subdir0
- 查看HDFS在磁盘存储文件内容
[li@hadoop102 subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce
atguigu
atguigu
- 拼接其他两个数据包
[li@hadoop102 subdir0]$ cat blk_1073741826>>tmp.tar.gz
[li@hadoop102 subdir0]$ cat blk_1073741827>>tmp.tar.gz
[li@hadoop102 subdir0]$ tar -zxvf tmp.tar.gz
jdk1.8.0_212/
jdk1.8.0_212/README.html
jdk1.8.0_212/LICENSE
jdk1.8.0_212/include/
jdk1.8.0_212/include/jawt.h
jdk1.8.0_212/include/linux/
jdk1.8.0_212/include/linux/jawt_md.h
jdk1.8.0_212/include/linux/jni_md.h
jdk1.8.0_212/include/classfile_constants.h
jdk1.8.0_212/include/jvmticmlr.h
jdk1.8.0_212/include/jni.h
...
发现文件就是上传的jdk。
5.3.3 下载文件
[li@hadoop102 ~]$ hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./
2022-08-24 15:29:50,243 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false
查看文件
[li@hadoop102 ~]$ ll
总用量 190480
drwxrwxr-x. 2 li li 4096 8月 23 16:49 bin
-rw-r--r--. 1 li li 195013152 8月 24 15:29 jdk-8u212-linux-x64.tar.gz # 下载成功
drwxr-xr-x. 2 li li 4096 8月 22 17:08 公共
drwxr-xr-x. 2 li li 4096 8月 22 17:08 模板
drwxr-xr-x. 2 li li 4096 8月 22 17:08 视频
drwxr-xr-x. 2 li li 4096 8月 22 17:08 图片
drwxr-xr-x. 2 li li 4096 8月 22 17:08 文档
drwxr-xr-x. 2 li li 4096 8月 22 17:08 下载
drwxr-xr-x. 2 li li 4096 8月 22 17:08 音乐
drwxr-xr-x. 2 li li 4096 8月 22 17:08 桌面
- 执行wordcount程序
[li@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
5.4 停止Hadoop集群
5.4.1 各模块分开启动/停止
在配置ssh的前提下
- 整体启动/停止HDFS
start-dfs.sh/stop-dfs.sh
- 整体启动/停止YARN
start-yarn.sh/stop-yarn.sh
5.4.2 各服务组件逐一启动/停止
- 分别启动/停止HDFS组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode
- 启动/停止YARN
yarn --daemon start/stop resourcemanager/nodemanager
5.5 Hadoop集群常用脚本
5.5.1 Hadoop集群启停脚本
包含HDFS,Yarn,Historyserver:myhadoop.sh
[li@hadoop102 hadoop-3.1.3]$ cd /home/li/bin
[li@hadoop102 bin]$ vim myhadoop.sh
输入如下内容:
#!/bin/bash
if [ $# -lt 1 ]
then
echo "No Args Input..."
exit ;
fi
case $1 in
"start")
echo " =================== 启动 hadoop集群 ==================="
echo " --------------- 启动 hdfs ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
echo " --------------- 启动 yarn ---------------"
ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
echo " --------------- 启动 historyserver ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
echo " =================== 关闭 hadoop集群 ==================="
echo " --------------- 关闭 historyserver ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
echo " --------------- 关闭 yarn ---------------"
ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
echo " --------------- 关闭 hdfs ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
echo "Input Args Error..."
;;
esac
:wq保存退出。
修改脚本执行权限:
[li@hadoop102 bin]$ chmod +x myhadoop.sh
[li@hadoop102 bin]$ myhadoop.sh stop #停止集群
5.5.2 查看进程脚本
查看三台服务器Java进程脚本:jpsall
[li@hadoop102 bin]$ vim jpsall
输入如下内容:
#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
do
echo =============== $host ===============
ssh $host jps
done
:wq保存后退出,然后赋予脚本执行权限文章来源:https://uudwc.com/A/P5kAj
[li@hadoop102 bin]$ chmod +x jpsall
5.5.3 脚本分发
分发/home/li/bin目录,保证自定义脚本在三台机器上都可以使用文章来源地址https://uudwc.com/A/P5kAj
[li@hadoop102 bin]$ xsync /home/li/bin/
==================== hadoop102 ====================
sending incremental file list
sent 129 bytes received 17 bytes 292.00 bytes/sec
total size is 2,007 speedup is 13.75
==================== hadoop103 ====================
sending incremental file list
bin/
bin/jpsall
bin/myhadoop.sh
sent 1,490 bytes received 58 bytes 1,032.00 bytes/sec
total size is 2,007 speedup is 1.30
==================== hadoop104 ====================
sending incremental file list
bin/
bin/jpsall
bin/myhadoop.sh
sent 1,490 bytes received 58 bytes 3,096.00 bytes/sec
total size is 2,007 speedup is 1.30