关于程序员:hdfs命令学习

42次阅读

共计 2032 个字符,预计需要花费 6 分钟才能阅读完成。

本文旨在减少记忆

URI 格局是 scheme://authority/path

  1. cat
    将指定文件内容输入到规范输入(stdout)
    应用形式:hadoop fs -cat URI [URI …]
    例子:
    输入 hsfs 文件系统上局部文件内容:
    hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
    输入本地文件的内容
    hadoop fs -cat file:///file1
  1. chgrp
    批改文件所属的组,应用 - R 将递归扭转目录构造下的文件属组,命令使用者必须是文件所有者或者超级用户
    应用形式:
    hadoop fs -chgrp [-R] GROUP URI
    hadoop fs -chgrp newgroup hdfs://host:port/file
  1. chmod
    批改文件权限,应用 - R 将递归扭转目录构造下的文件权限,命令应用这必须是文件所有者或者超级用户
    应用形式:
    hadoop fs -chmod [-R] <MODE[,MODE]… | OCTALMODE> URI [URI …]
    hadoop fs -chmod -R 750 hdfs://host:port/file
  1. chown
    扭转文件的拥有者,应用 - R 将递归扭转目录构造下文件的拥有者,命令使用者必须是文件所有者或者是超级用户
    应用形式:
    hadoop fs -chown [-R] [OWNER] [:GROUP] URI [URI …]
    hadoop fs -chown -R newowner:newgroup hdfs://host:port/dir
    hadoop fs -chown newowner:newgroup hdfs://host/port/file
  1. copyFromLocal
    复制本地文件到目标门路,除了限定源门路是本地文件外,和 put 命令类似
    应用形式:
    hadoop fs -copyFromLocal <localsrc> URI
  1. copyToLocal
    复制文件到本地指定门路,除限定指标门路是本地文件外,和 get 相似
    应用形式:
    hadoop fs -copyToLocal
  1. cp
    从源门路复制文件到指标门路,(能够容许有多个源门路,然而此时指标门路必须是目录)
    应用形式:
    hadoop fs -cp /srcfile /dstfile
    hadoop fs -cp /srcfile1 /srcfile2 /dstdir
  1. du
    显示目录中所有文件大小,或者当只指定一个文件时显示该文件大小
    应用形式:
    hadoop fs -du /dir
    hadoop fs -du /file
  1. expunge
    清空回收站
    应用形式:
    hadoop fs -expunge
  1. get
    复制文件到本地
    应用形式:
    hadoop fs -get /hadoop/file localfile
    hadoop fs -get hdfs://host:port/file localfile
  1. put
    从本地文件系统复制一个或多个源门路文件到目标门路,也反对从规范输出中读取输出写入到目标文件
    应用形式:
    hadoop fs -put localfile /dst/file
    hadoop fs -put localfile1 localfile2 /dst/dir
    hadoop fs -put localfile hdfs://host/port/dst/file
    从规范输出中读取输出:
    hadoop fs -put – hdfs://host/port/dst/file
  1. ls
    显示文件或者目录信息
    应用形式:
    hadoop fs -get /hadoop/file
    hadoop fs -get /hadoop/dir
  1. lsr
    ls 的递归版本,相似于 unix 中的 ls -R
  1. mkdir
    创立目录
    应用形式:
    hadoop fs -mkdir /hadoop/dir1 /hadoop/dir2
  1. mv
    将文件从源门路挪动到目标门路
    应用形式:
    hadoop fs -mv /scr/file /dst/file
  2. rm
    删除指定目录和文件,只能删除非空目录和文件
    应用形式:
    hadoop fs -rm /file
  3. rmr
    rm 的递归版本
    应用形式:
    hadoop fs -rmr /dir
  1. setrep
    扭转一个文件的副文本系数,- R 选项用于递归扭转一个目录下所有文件副文本系数
    应用形式:
    hadoop fs -setrep -w 3 -R /dir
  2. stat
    返回指定门路的统计信息
    应用形式:
    hadoop fs -stat path
  1. tail
    将尾部文件 1k 内容输入到规范输入,和 unix 中的相似
    应用形式:
    hadoop fs -tail path
  2. test
    用于查看文件或者目录
    应用形式:
    查看文件是否存在,存在返回 0
    hadoop fs -test -e file
    查看文件是否为空,空返回 0
    hadoop fs -test -z file
    查看门路是否为目录,是目录返回 1
    hadoop fs -test -d pathname
  3. text
    将源文件输入为文本格式
    应用形式:
    hadoop fs -text <src>
  4. touchz
    创立一个 0 字节空文件
    应用形式:
    hadoop fs -touchz filename

参考文章:http://hadoop.apache.org/docs…

正文完
 0