Hadoop常用命令

Hadoop集群常用命令

hdfs dfs #可以查看帮助文档

hdfs dfsadmin -safemode get
#查看安全模式状态
hdfs dfsadmin -safemode open
#打开安全模式
hdfs dfsadmin -safemode leave
#关闭安全模式

针对于集群命令操作

(1) hdfs dfs  -参数 命令
(2) hadoop fs -参数 命令 
(3) -copyFromLocal 从本地复制一个文件到集群
(4) -moveFromLocal 从本地移动一个文件到集群

例：

hdfs dfs -copyFromLocal [文件名] [集群的位置]
hdfs dfs -moveFromLocal [文件名] [集群的位置]

查看上传到集群的文件

#当前路径为：/opt/software/hadoop-3.1.4
[root@master hadoop-3.1.4]# cd data/
[root@master data]# ls
dfs  nm-local-dir
[root@master data]# cd dfs/data/
[root@master data]# cd current/
[root@master current]# ls
BP-1368359784-192.168.200.5-1710748664850  VERSION
[root@master current]# hdfs dfs -copyFromLocal /opt/software/jdk-8u212-linux-x64.tar.gz ./
copyFromLocal: `./': No such file or directory: `hdfs://master:8020/user/root'
[root@master current]# hdfs dfs -copyFromLocal /opt/software/jdk-8u212-linux-x64.tar.gz /
[root@master current]# ls
BP-1368359784-192.168.200.5-1710748664850  VERSION
[root@master current]# cd BP-1368359784-192.168.200.5-1710748664850/
[root@master BP-1368359784-192.168.200.5-1710748664850]# ls
current  scanner.cursor  tmp
[root@master BP-1368359784-192.168.200.5-1710748664850]# cd current/
[root@master current]# ls
finalized  rbw  VERSION
[root@master current]# cat VERSION
#Mon Apr 01 13:46:22 CST 2024
namespaceID=1504046362
cTime=1710748664850
blockpoolID=BP-1368359784-192.168.200.5-1710748664850
layoutVersion=-57
[root@master current]#
[root@master current]# hdfs dfs -ls /
Found 1 items
-rw-r--r--   3 root supergroup  195013152 2024-04-01 14:41 /jdk-8u212-linux-x64.tar.gz     #这个就是上传的文件
[root@master current]#

执行jar包模块：

cd /opt/software/hadoop-3.1.4/share/hadoop/mapreduce
hadoop jar [jar包名字（红色的）] wordcount /file_name /output（将执行结果输出到这个目录下）

例如：

hadoop jar hadoop-mapreduce-examples-3.1.4.jar wordcount /email_log.txt /output