台式电脑蓝屏怎样重装系统了怎么重新安装系统

& Hadoop编程调用HDFS
Hadoop编程调用HDFS
,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。
从2011年开始,中国进入大数据风起云涌的时代,以Hadoop为代表的家族软件,占据了大数据处理的广阔地盘。开源界及厂商,所有数据软件,无一不向Hadoop靠拢。Hadoop也从小众的高富帅领域,变成了大数据开发的标准。在Hadoop原有技术基础之上,出现了Hadoop家族产品,通过“大数据”概念不断创新,推出科技进步。
作为IT界的开发人员,我们也要跟上节奏,抓住机遇,跟着Hadoop一起雄起!
关于作者:
张丹(Conan), 程序员Java,R,PHP,Javascript
weibo:@Conan_Z
转载请注明出处:
HDFS 全称Hadoop分步文件系统(Hadoop Distributed File System),是Hadoop的核心部分之一。要实现MapReduce的分步式算法时,数据必需提前放在HDFS上。因此,对于HDFS的操作就变得非常重要。Hadoop的命令行,提供了一套完整命令接口,就像Linux命令一样方便使用。
不过,有时候我们还需要在程序中直接访问HDFS,我们可以通过API的方式进行HDFS操作。
copyFromLocal操作
copyToLocal操作
创建一个新文件,并写入内容
1. 系统环境
Hadoop集群环境
Linux Ubuntu 64bit Server 12.04.2 LTS
Java 1.6.0_29
Hadoop 1.1.2
如何搭建Hadoop集群环境? 请参考文章:
Win7 64bit
Java 1.6.0_45
Hadoop 1.1.2
Eclipse Juno Service Release 2
如何用Maven搭建Win7的Hadoop开发环境? 请参考文章:
注:hadoop-core-1.1.2.jar,已重新编译,已解决了Win远程调用Hadoop的问题,请参考文章:
Hadooop命令行:java FsShell
~ hadoop fs
Usage: java FsShell
[-count[-q] ]
[-rm [-skipTrash] ]
[-rmr [-skipTrash] ]
[-expunge]
[-copyFromLocal
[-moveFromLocal
[-get [-ignoreCrc] [-crc]
[-getmerge
[-copyToLocal [-ignoreCrc] [-crc]
[-moveToLocal [-crc]
[-setrep [-R] [-w]
[-touchz ]
[-test -[ezd] ]
[-stat [format] ]
[-tail [-f] ]
[-chmod [-R]
[-chown [-R] [OWNER][:[GROUP]] PATH...]
[-chgrp [-R] GROUP PATH...]
[-help [cmd]]
上面列出了30个命令,我只实现了一部分的HDFS的命令!
新建文件:HdfsDAO.java,用来调用HDFS的API。
public class HdfsDAO {
//HDFS访问地址
private static final String HDFS = "hdfs://192.168.1.210:9000/";
public HdfsDAO(Configuration conf) {
this(HDFS, conf);
public HdfsDAO(String hdfs, Configuration conf) {
this.hdfsPath =
this.conf =
//hdfs路径
private String hdfsP
//Hadoop系统配置
//启动函数
public static void main(String[] args) throws IOException {
JobConf conf = config();
HdfsDAO hdfs = new HdfsDAO(conf);
hdfs.mkdirs("/tmp/new/two");
hdfs.ls("/tmp/new");
//加载Hadoop配置文件
public static JobConf config(){
JobConf conf = new JobConf(HdfsDAO.class);
conf.setJobName("HdfsDAO");
conf.addResource("classpath:/hadoop/core-site.xml");
conf.addResource("classpath:/hadoop/hdfs-site.xml");
conf.addResource("classpath:/hadoop/mapred-site.xml");
public void cat(String remoteFile) throws IOException {...}
public void mkdirs(String folder) throws IOException {...}
说明:查看目录文件
对应Hadoop命令:
~ hadoop fs -ls /
Found 3 items
drwxr-xr-x
supergroup
05:03 /home
drwxr-xr-x
- Administrator supergroup
13:49 /tmp
drwxr-xr-x
supergroup
09:11 /user
public void ls(String folder) throws IOException {
Path path = new Path(folder);
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
FileStatus[] list = fs.listStatus(path);
System.out.println("ls: " + folder);
System.out.println("==========================================================");
for (FileStatus f : list) {
System.out.printf("name: %s, folder: %s, size: %d\n", f.getPath(), f.isDir(), f.getLen());
System.out.println("==========================================================");
fs.close();
public static void main(String[] args) throws IOException {
JobConf conf = config();
HdfsDAO hdfs = new HdfsDAO(conf);
hdfs.ls("/");
控制台输出:
==========================================================
name: hdfs://192.168.1.210:9000/home, folder: true, size: 0
name: hdfs://192.168.1.210:9000/tmp, folder: true, size: 0
name: hdfs://192.168.1.210:9000/user, folder: true, size: 0
==========================================================
3. mkdir操作
说明:创建目录,可以创建多级目录
对应Hadoop命令:
~ hadoop fs -mkdir /tmp/new/one
~ hadoop fs -ls /tmp/new
Found 1 items
drwxr-xr-x
- conan supergroup
15:35 /tmp/new/one
public void mkdirs(String folder) throws IOException {
Path path = new Path(folder);
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
if (!fs.exists(path)) {
fs.mkdirs(path);
System.out.println("Create: " + folder);
fs.close();
public static void main(String[] args) throws IOException {
JobConf conf = config();
HdfsDAO hdfs = new HdfsDAO(conf);
hdfs.mkdirs("/tmp/new/two");
hdfs.ls("/tmp/new");
控制台输出:
Create: /tmp/new/two
ls: /tmp/new
==========================================================
name: hdfs://192.168.1.210:9000/tmp/new/one, folder: true, size: 0
name: hdfs://192.168.1.210:9000/tmp/new/two, folder: true, size: 0
==========================================================
4. rmr操作
说明:删除目录和文件
对应Hadoop命令:
~ hadoop fs -rmr /tmp/new/one
Deleted hdfs://master:9000/tmp/new/one
hadoop fs -ls /tmp/new
Found 1 items
drwxr-xr-x
- Administrator supergroup
15:38 /tmp/new/two
public void rmr(String folder) throws IOException {
Path path = new Path(folder);
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
fs.deleteOnExit(path);
System.out.println("Delete: " + folder);
fs.close();
public static void main(String[] args) throws IOException {
JobConf conf = config();
HdfsDAO hdfs = new HdfsDAO(conf);
hdfs.rmr("/tmp/new/two");
hdfs.ls("/tmp/new");
控制台输出:
Delete: /tmp/new/two
ls: /tmp/new
==========================================================
==========================================================
5. copyFromLocal操作
说明:复制本地文件系统到HDFS
对应Hadoop命令:
~ hadoop fs -copyFromLocal /home/conan/datafiles/item.csv /tmp/new/
~ hadoop fs -ls /tmp/new/
Found 1 items
-rw-r--r--
1 conan supergroup
16:07 /tmp/new/item.csv
public void copyFile(String local, String remote) throws IOException {
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
fs.copyFromLocalFile(new Path(local), new Path(remote));
System.out.println("copy from: " + local + " to " + remote);
fs.close();
public static void main(String[] args) throws IOException {
JobConf conf = config();
HdfsDAO hdfs = new HdfsDAO(conf);
hdfs.copyFile("datafile/randomData.csv", "/tmp/new");
hdfs.ls("/tmp/new");
控制台输出:
copy from: datafile/randomData.csv to /tmp/new
ls: /tmp/new
==========================================================
name: hdfs://192.168.1.210:9000/tmp/new/item.csv, folder: false, size: 210
name: hdfs://192.168.1.210:9000/tmp/new/randomData.csv, folder: false, size: 36655
==========================================================
6. cat操作
说明:查看文件内容
对应Hadoop命令:
~ hadoop fs -cat /tmp/new/item.csv
public void cat(String remoteFile) throws IOException {
Path path = new Path(remoteFile);
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
FSDataInputStream fsdis =
System.out.println("cat: " + remoteFile);
fsdis =fs.open(path);
IOUtils.copyBytes(fsdis, System.out, 4096, false);
} finally {
IOUtils.closeStream(fsdis);
fs.close();
public static void main(String[] args) throws IOException {
JobConf conf = config();
HdfsDAO hdfs = new HdfsDAO(conf);
hdfs.cat("/tmp/new/item.csv");
控制台输出:
cat: /tmp/new/item.csv
7. copyToLocal操作
说明:从HDFS复制文件在本地操作系
对应Hadoop命令:
~ hadoop fs -copyToLocal /tmp/new/item.csv /home/conan/datafiles/tmp/
~ ls -l /home/conan/datafiles/tmp/
-rw-rw-r-- 1 conan conan 210 Oct
3 16:16 item.csv
public void download(String remote, String local) throws IOException {
Path path = new Path(remote);
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
fs.copyToLocalFile(path, new Path(local));
System.out.println("download: from" + remote + " to " + local);
fs.close();
public static void main(String[] args) throws IOException {
JobConf conf = config();
HdfsDAO hdfs = new HdfsDAO(conf);
hdfs.download("/tmp/new/item.csv", "datafile/download");
File f = new File("datafile/download/item.csv");
System.out.println(f.getAbsolutePath());
控制台输出:
17:17:32 org.apache.hadoop.util.NativeCodeLoader
警告: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
download: from/tmp/new/item.csv to datafile/download
D:\workspace\java\myMahout\datafile\download\item.csv
8. 创建一个新文件,并写入内容
说明:创建一个新文件,并写入内容。
touchz:可以用来创建一个新文件,或者修改文件的时间戳。
写入内容没有对应命令。
对应Hadoop命令:
~ hadoop fs -touchz /tmp/new/empty
~ hadoop fs -ls /tmp/new
Found 3 items
-rw-r--r--
supergroup
16:24 /tmp/new/empty
-rw-r--r--
supergroup
16:07 /tmp/new/item.csv
-rw-r--r--
3 Administrator supergroup
-10-03 16:09 /tmp/new/randomData.csv
~ hadoop fs -cat /tmp/new/empty
public void createFile(String file, String content) throws IOException {
FileSystem fs = FileSystem.get(URI.create(hdfsPath), conf);
byte[] buff = content.getBytes();
FSDataOutputStream os =
os = fs.create(new Path(file));
os.write(buff, 0, buff.length);
System.out.println("Create: " + file);
} finally {
if (os != null)
os.close();
fs.close();
public static void main(String[] args) throws IOException {
JobConf conf = config();
HdfsDAO hdfs = new HdfsDAO(conf);
hdfs.createFile("/tmp/new/text", "Hello world!!");
hdfs.cat("/tmp/new/text");
控制台输出:
Create: /tmp/new/text
cat: /tmp/new/text
Hello world!!
完整的文件:HdfsDAO.java
转载请注明出处:
This entry was posted in ,
Designed by更多频道内容在这里查看
爱奇艺用户将能永久保存播放记录
过滤短视频
暂无长视频(电视剧、纪录片、动漫、综艺、电影)播放记录,
使用您的微博帐号登录,即刻尊享微博用户专属服务。
使用您的QQ帐号登录,即刻尊享QQ用户专属服务。
使用您的人人帐号登录,即刻尊享人人用户专属服务。
按住视频可进行拖动
把视频贴到Blog或BBS
当前浏览器仅支持手动复制代码
视频地址:
flash地址:
html代码:
通用代码:
通用代码可同时支持电脑和移动设备的分享播放
收藏成功,可进入查看所有收藏列表
方式1:用手机看
用爱奇艺APP或微信扫一扫,在手机上继续观看:
传智播客hadoop教程15-使用浏览器查看HDFS目录结构
方式2:一键下载至手机
限爱奇艺安卓6.0以上版本
使用微信扫一扫,扫描左侧二维码,下载爱奇艺移动APP
其他安装方式:手机浏览器输入短链接http://71.am/udn
下载安装包到本机:&&
设备搜寻中...
请确保您要连接的设备(仅限安卓)登录了同一爱奇艺账号 且安装并开启不低于V6.0以上版本的爱奇艺客户端
连接失败!
请确保您要连接的设备(仅限安卓)登录了同一爱奇艺账号 且安装并开启不低于V6.0以上版本的爱奇艺客户端
部安卓(Android)设备,请点击进行选择
请您在手机端下载爱奇艺移动APP(仅支持安卓客户端)
使用微信扫一扫,下载爱奇艺移动APP
其他安装方式:手机浏览器输入短链接http://71.am/udn
下载安装包到本机:&&
爱奇艺云推送
请您在手机端登录爱奇艺移动APP(仅支持安卓客户端)
使用微信扫一扫,下载爱奇艺移动APP
180秒后更新
打开爱奇艺移动APP,点击“我的-扫一扫”,扫描左侧二维码进行登录
没有安装爱奇艺视频最新客户端?
爸爸去哪儿2游戏 立即参与
传智播客hadoop教程15-使用浏览器查看HDFS目录结构
播放量数据:
13,333人已订阅
你可能还想订阅他们:
{{#needAdBadge}} 广告{{/needAdBadge}}
&正在加载...
您使用浏览器不支持直接复制的功能,建议您使用Ctrl+C或右键全选进行地址复制
安装爱奇艺视频客户端,
马上开始为您下载本片
5秒后自动消失
&li data-elem="tabtitle" data-seq="{{seq}}"& &a href="javascript:void(0);"& &span>{{start}}-{{end}}&/span& &/a& &/li&
&li data-downloadSelect-elem="item" data-downloadSelect-selected="false" data-downloadSelect-tvid="{{tvid}}"& &a href="javascript:void(0);"&{{pd}}&/a&
选择您要下载的《
色情低俗内容
血腥暴力内容
广告或欺诈内容
侵犯了我的权力
还可以输入
您使用浏览器不支持直接复制的功能,建议您使用Ctrl+C或右键全选进行地址复制现在的位置:
>, , >正文
Hadoop框架之HDFS的shell操作
既然HDFS是存取数据的分布式文件系统,那么对HDFS的操作,就是文件系统的基本操作,比如文件的创建、修改、删除、修改权限等,文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作,如ls、mkdir、rm等。
我们执行以下操作的时候,一定要确定hadoop是正常运行的,使用jps命令确保看到各个hadoop进程。
我们执行命令hadoop fs,如图4-1所示。
图中显示了很多命令选项信息。以上截图不全,我在表格4-1中完整地列出了支持的命令选项。
-ls &路径&
查看指定路径的当前目录结构
-lsr &路径&
递归查看指定路径的目录结构
-du &路径&
统计目录下个文件大小
-dus &路径&
汇总统计目录下文件(夹)大小
-count [-q] &路径&
统计文件(夹)数量
-mv &源路径& &目的路径&
-cp &源路径& &目的路径&
-rm [-skipTrash] &路径&
删除文件/空白文件夹
-rmr [-skipTrash] &路径&
-put &多个linux上的文件& &hdfs路径&
-copyFromLocal
-copyFromLocal &多个linux上的文件& &hdfs路径&
从本地复制
-moveFromLocal
-moveFromLocal &多个linux上的文件& &hdfs路径&
从本地移动
-getmerge &源路径& &linux路径&
合并到本地
-cat &hdfs路径&
查看文件内容
-text &hdfs路径&
查看文件内容
-copyToLocal
-copyToLocal [-ignoreCrc] [-crc] [hdfs源路径] [linux目的路径]
从本地复制
-moveToLocal
-moveToLocal [-crc] &hdfs源路径& &linux目的路径&
从本地移动
-mkdir &hdfs路径&
创建空白文件夹
-setrep [-R] [-w] &副本数& &路径&
修改副本数量
-touchz &文件路径&
创建空白文件
-stat [format] &路径&
显示文件统计信息
-tail [-f] &文件&
查看文件尾部信息
-chmod [-R] &权限模式& [路径]
-chown [-R] [属主][:[属组]] 路径
-chgrp [-R] 属组名称 路径
-help [命令选项]
注意:以上表格中路径包括hdfs中的路径和linux中的路径。对于容易产生歧义的地方,会特别指出“linux路径”或者“hdfs路径”。如果没有明确指出,意味着是hdfs路径。
下面我们讲述每个命令选项的用法。
-ls 显示当前目录结构
该命令选项表示查看指定路径的当前目录结构,后面跟hdfs路径,如图4-1所示。
上图中的路径是hdfs根目录,显示的内容格式与linux的命令ls –l显示的内容格式非常相似,下面解析每一行的内容格式:
l 首字母表示文件夹(如果是“d”)还是文件(如果是“-”);
l 后面的9位字符表示权限;
l 后面的数字或者“-”表示副本数。如果是文件,使用数字表示副本数;文件夹没有副本;
l 后面的“root”表示属主;
l 后面的“supergroup”表示属组;
l 后面的“0”、“6176”、“37645”表示文件大小,单位是字节;
l 后面的时间表示修改时间,格式是年月日时分;
l 最后一项表示文件路径。
可见根目录下面有四个文件夹、两个文件。
如果该命令选项后面没有路径,那么就会访问/user/&当前用户&目录。我们使用root用户登录,因此会访问hdfs的/user/root目录,如图4-2所示。
如果没有这个目录/user/root,会提示文件不存在的错误。
-lsr 递归显示目录结构
该命令选项表示递归显示当前路径的目录结构,后面跟hdfs路径。如图4-3所示。
显示/user目录下有个root目录,root目录下有文件abc。
-du 统计目录下各文件大小
该命令选项显示指定路径下的文件大小,单位是字节,如图4-4所示。
-dus 汇总统计目录下文件大小
该命令选项显示指定路径的文件大小,单位是字节,如图4-5所示。
请读者比较图4-4与图4-5的区别,体会两个命令选项的不同含义。
-count 统计文件(夹)数量
该命令选项显示指定路径下的文件夹数量、文件数量、文件总大小信息,如图4-6所示。
在图4-6中有两条命令,下面的命令是为了佐证上面命令的正确性的。
该命令选项表示移动hdfs的文件到指定的hdfs目录中。后面跟两个路径,第一个表示源文件,第二个表示目的目录,如图4-7所示。
在图4-7中有三条命令,是为了体现移动前后的变化情况。
该命令选项表示复制hdfs指定的文件到指定的hdfs目录中。后面跟两个路径,第一个是被复制的文件,第二个是目的地,如图4-8所示。
在图4-8中有三条命令,是为了体现复制前后的变化情况。
-rm 删除文件/空白文件夹
该命令选项表示删除指定的文件或者空目录,如图4-9所示。
在图4-9中,前三条命令是为了体现执行前后的变化情况。第四条命令是删除非空的“/user/root”目录,操作失败,表明不能删除非空目录。
-rmr 递归删除
该命令选项表示递归删除指定目录下的所有子目录和文件,如图4-10所示。
-put 上传文件
该命令选项表示把linux上的文件复制到hdfs中,如图4-11所示。
-copyFromLocal 从本地复制
操作与-put一致,不再举例。
-moveFromLocal 从本地移动
该命令表示把文件从linux上移动到hdfs中,如图4-12所示。
-getmerge 合并到本地
该命令选项的含义是把hdfs指定目录下的所有文件内容合并到本地linux的文件中,如图4-13所示。
-cat 查看文件内容
该命令选项是查看文件内容,如图4-14所示。
-text 查看文件内容
该命令选项可以认为作用和用法与-cat相同,此处略。
-mkdir 创建空白文件夹
该命令选项表示创建文件夹,后面跟的路径是在hdfs将要创建的文件夹,如图4-15所示。
-setrep 设置副本数量
该命令选项是修改已保存文件的副本数量,后面跟副本数量,再跟文件路径,如图4-16所示。
在图4-16中,我们修改了文件/install.log的副本数,由1修改为2,意味着多了一个副本,HDFS会自动执行文件的复制工作,产生新的副本。
如果最后的路径表示文件夹,那么需要跟选项-R,表示对文件夹中的所有文件都修改副本,如图4-17所示。
在图4-17中,我们对/user文件夹进行的操作,使用了选项-R,那么/user/root下的文件abc的副本数发生了改变。
还有一个选项是-w,表示等待副本操作结束才退出命令,如图4-18所示。
请读者自己比较以上两图中使用-q前后执行结果的变化情况。
-touchz 创建空白文件
该命令选项是在hdfs中创建空白文件,如图4-19所示。
-stat 显示文件的统计信息
该命令选项显示文件的一些统计信息,如图4-20所示。
在图4-20中,命令选项后面可以有格式,使用引号表示。示例中的格式“%b %n %o %r %Y”依次表示文件大小、文件名称、块大小、副本数、访问时间。
-tail 查看文件尾部内容
该命令选项显示文件最后1K字节的内容。一般用于查看日志。如果带有选项-f,那么当文件内容变化时,也会自动显示,如图4-21所示。
-chmod 修改文件权限
该命令选项的使用类似于linux的shell中的chmod用法,作用是修改文件的权限,如图4-22所示。
在图4-22中,修改了文件/emptyfile的权限。
如果加上选项-R,可以对文件夹中的所有文件修改权限,如图4-23所示。
-chown 修改属主
该命令选项表示修改文件的属主,如图4-24所示。
上图中把文件/emptyfile的属主由root修改为itcast。
也可以同时修改属组,如图4-25所示。
在图4-25中,把文件/emptyfile的属主和属组都修改为itcast,如果只修改属组,可以使用“:itcast”。
如果带有选项-R,意味着可以递归修改文件夹中的所有文件的属主、属组信息。
-chgrp 修改属组
该命令的作用是修改文件的属组,该命令相当于“chown :属组”的用法,如图4-26所示。
-help 帮助
该命令选项会显示帮助信息,后面跟上需要查询的命令选项即可,如图4-27所示。
在图4-27中,查询的rm的用法。
该命令选项显示的内容并非完全准确,比如查询count的结果就不准确,而是把所有命令选项的用法都显示出来,如图4-28所示。希望新的版本以后改进。
读者短时间无法掌握全部命令用法,请重点掌握ls(r)、rm(r)、mkdir、put、get的使用。
EasyQuery的目标是不需要写一行java代码就可以实现非常非常复杂的查询,省时省力,提高效率。
【上篇】【下篇】
您可能还会对这些文章感兴趣!
您必须才能发表留言!
籍贯山东,落户北京,IT行业。
工作经历:
2014年至今&,自主创业
,传智播客
,超人学院
,亚信科技
教育经历:
,中科院研究生院
,河北大学hadoop hdfs常用命令
hadoop hdfs常用命令
hadoop常用命令:&
hadoop fs&
查看Hadoop HDFS支持的所有命令&
hadoop fs &ls&
列出目录及文件信息&
hadoop fs &lsr&
循环列出目录、子目录及文件信息&
hadoop fs &put test.txt /user/sunlightcs&
将本地文件的test.txt复制到HDFS文件系统的/user/sunlightcs目录下&
hadoop fs &get /user/sunlightcs/test.txt .&
将HDFS中的test.txt复制到本地文件系统中,与-put命令相反&
hadoop fs &cat /user/sunlightcs/test.txt&
查看HDFS文件系统里test.txt的内容&
hadoop fs &tail /user/sunlightcs/test.txt&
查看最后1KB的内容&
hadoop fs &rm /user/sunlightcs/test.txt&
从HDFS文件系统删除test.txt文件,rm命令也可以删除空目录&
hadoop fs &rmr /user/sunlightcs&
删除/user/sunlightcs目录以及所有子目录&
hadoop fs &copyFromLocal test.txt /user/sunlightcs/test.txt&
从本地文件系统复制文件到HDFS文件系统,等同于put命令&
hadoop fs &copyToLocal /user/sunlightcs/test.txt test.txt&
从HDFS文件系统复制文件到本地文件系统,等同于get命令&
hadoop fs &chgrp [-R] /user/sunlightcs&
修改HDFS系统中/user/sunlightcs目录所属群组,选项-R递归执行,跟linux命令一样&
hadoop fs &chown [-R] /user/sunlightcs&
修改HDFS系统中/user/sunlightcs目录拥有者,选项-R递归执行&
hadoop fs &chmod [-R] MODE /user/sunlightcs&
修改HDFS系统中/user/sunlightcs目录权限,MODE可以为相应权限的3位数或+/-{rwx},选项-R递归执行&
hadoop fs &count [-q] PATH&
查看PATH目录下,子目录数、文件数、文件大小、文件名/目录名&
hadoop fs &cp SRC [SRC &] DST & & &
将文件从SRC复制到DST,如果指定了多个SRC,则DST必须为一个目录&
hadoop fs &du PATH&
显示该目录中每个文件或目录的大小&
hadoop fs &dus PATH&
类似于du,PATH为目录时,会显示该目录的总大小&
hadoop fs &expunge&
清空回收站,文件被删除时,它首先会移到临时目录.Trash/中,当超过延迟时间之后,文件才会被永久删除&
hadoop fs &getmerge SRC [SRC &] LOCALDST [addnl] & &&
获取由SRC指定的所有文件,将它们合并为单个文件,并写入本地文件系统中的LOCALDST,选项addnl将在每个文件的末尾处加上一个换行符&
hadoop fs &touchz PATH &
创建长度为0的空文件&
hadoop fs &test &[ezd] PATH & &
对PATH进行如下类型的检查:&
-e PATH是否存在,如果PATH存在,返回0,否则返回1&
-z 文件是否为空,如果长度为0,返回0,否则返回1&
-d 是否为目录,如果PATH为目录,返回0,否则返回1&
hadoop fs &text PATH&
显示文件的内容,当文件为文本文件时,等同于cat,文件为压缩格式(gzip以及hadoop的二进制序列文件格式)时,会先解压缩&
hadoop fs &help ls&
查看某个[ls]命令的帮助文档
(window.slotbydup=window.slotbydup || []).push({
id: '2467140',
container: s,
size: '1000,90',
display: 'inlay-fix'
(window.slotbydup=window.slotbydup || []).push({
id: '2467141',
container: s,
size: '1000,90',
display: 'inlay-fix'
(window.slotbydup=window.slotbydup || []).push({
id: '2467142',
container: s,
size: '1000,90',
display: 'inlay-fix'
(window.slotbydup=window.slotbydup || []).push({
id: '2467143',
container: s,
size: '1000,90',
display: 'inlay-fix'
(window.slotbydup=window.slotbydup || []).push({
id: '2467148',
container: s,
size: '1000,90',
display: 'inlay-fix'}

我要回帖

更多关于 台式电脑蓝屏怎样重装系统 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信