HDFS的shell操作

bin/hadoop命令操作:

namenode -format 格式化文件系统
fs(缩写:FileSystem) 运行一个文件系统的用户客户端




bin/hadoop fs常用命令操作:

  -ls hdfs路径:查看hdfs结构信息.
  -lsr hdfs路径 递归显示(list status recursive)

    技术分享

      hdfs中第一位表示类型,d:文件夹也是个目录,后边9位是它的访问目录权限

                  -:在linux下是一个数值,在hdfs表示的是副本数,目录是一个虚的东西,不需要备份,

                  root:在后边是创建者和创建者所在组,

                  0:然后是大小,目录本身是虚的东西,所以没大小,

                  215-03-22 10:21:在之后是最新的修改时间,

                  /dir1:最后表示的是目录的名称
  -mkdir:创建文件夹
    技术分享
  -touchz:创建文件
    技术分享
    文件是有副本数的,大小是0,这里副本数是3
    在hdfs中不能无中生有的创建一个有内容的文件,只能通过外部的客户端把有内容的给上传上去.
    touchz创建的文件是没有内容的,但是在我们的hdfs中有一种文件,只要存在就表达某一种含义,有没有内容已经是两说了.标记文件.
  -put 源目录 hdfs目录
    技术分享
    如果目的地是一个已经存在的文件夹时,新文件上传到文件夹内,文件名是原来的文件名;
    如果目的地是一个已经存在的文件夹时,假设原文件已经存在,再次上传报错;
    如果目的地是一个不存在的路径时,新文件上传成功,文件名是目录路径名称.
  -text hdfs路径:查看文件内容

  -text hdfs路径 | grep,-text hdfs路径 | more:文件很大的情况下,加管道过滤,也可以下载到本地查看,文件很大也没有查看的必要
    技术分享
    mapredce最后是把结果放在hdfs中,主要作用是计算不是上传.
  -get hdfs路径 本地路径
    技术分享
    . :表示linux当前路径
  -rmr hdfs路径:递归删除
    技术分享
  hadoop fs : 查看更多命令
  hadoop fs -help 具体命令 :查看具体某一条命令的用法
    技术分享
  du hdfs路径:显示路径中所有文件的大小,当只指定一个文件时,显示此文件的大小.
    技术分享
  -dus hdfs路径:显示文件的大小
    技术分享
  "hdfs://hadoop1:9000/",前缀可省略,直接写成"/",两种写法表达的含义是一样的,如果不写的话,hadoop客户端在运行的时候去本地找配置文件conf/core-site.xml中的"fs.default.name"的值,自动添加到我们的"/"前边
    技术分享
如果我们在上传的过程中不写"/",则会上传到当前用户的目录中去
    技术分享
  参阅Hadoop FS Shell命令大全;

郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。