linux Hadoop 解压gz文件的命令 hadoop解压文件命令是啥 | 您所在的位置:网站首页 › Tgz文件怎么解压缩文件损坏 › linux Hadoop 解压gz文件的命令 hadoop解压文件命令是啥 |
一、查看一堆文件共有多少行 查看file1/file2目录下所有文件总共多少行
hadoop fs -text file1/file2/* | wc -l
二、正则表达式
hadoop fs -text file1/file2/* | grep ','
匹配file1/file2/*文件中含逗号','的内容。 二、deflate文件1、查看:(hdfs处理之后一种压缩文件),可以采用hadoop fs -text +文件名查看 2、解压:(解压一个文件)解压Hadoop的file1/file2目录下file_a文件到本地file_b文件中:
hadoop fs -text file1/file2/file_a.deflate>
(解压所有文件到本地一个文件)
hadoop fs -text file1/file2/*> file_b
三、从Hadoop上下载文件到本地当前目录下 【若报错:input/output,查看目录有没有写对,以及本地当前目录是否有权限写入,如果没有,修改文件权限】
hadoop fs -get hadoop_file1/file_2
四、检查文件存不存在test
test 使用方法:hadoop fs -test -[ezd] URI 选项:-e 检查文件是否存在。如果存在则返回0。-z 检查文件是否是0字节。如果是则返回0。-d 如果路径是个目录,则返回1,否则返回0。 示例: hadoop fs -test -e filename
shell命令的返回值用 $? 表示;还需要执行 echo $?; 查看 五、统计目录下文件大小 -du 统计目录下文件大小 ; -du -s 汇总目录下文件大小,单位字节 ; -du -h ,显示目录下各个文件的大小。
-du -s -h /user/hive/warehouse/table_test # 汇总该表所占据的存储空间,显示单位
|
CopyRight 2018-2019 实验室设备网 版权所有 |