使用OSS | 您所在的位置:网站首页 › hdfsget会占用内存吗 › 使用OSS |
OSS-HDFS文件数据块block OSS-HDFS文件的所有数据块block均占用OSS Bucket的存储空间。OSS-HDFS文件数据块block占用是OSS空间主要占用部分,您可以通过hdfs du命令查看数据块block的空间占用情况。 OSS-HDFS文件checksum数据OSS-HDFS支持HDFS checksum特性,数据写入时产生额外的checksum数据。开源HDFS checksum数据会占用Datanode的磁盘空间,OSS-HDFS文件的checksum数据占用OSS的空间。 默认情况下,数据正常写入每512字节生成4字节的checksum。在小文件或者小数据块写入的情况下会存在checksum数据放大的情况,属于正常现象。 重要checksum数据的空间占用情况作为OSS标准存储容量进行统计,不支持通过hdfs du命令进行统计和查看。 OSS-HDFS文件空洞占用OSS-HDFS在某些场景下支持通过JindoFuse客户端随机覆盖写入和修改文件。由于数据块block本身无法修改,系统需要通过delta增量文件的方式写入或修改文件,通过该方式写入和修改文件会额外占用OSS存储空间。 重要通过delta增量文件的方式写入或修改文件的空洞占用情况作为OSS标准存储容量进行统计,不支持通过hdfs du命令进行统计和查看。 OSS-HDFS审计日志数据OSS-HDFS服务对文件读写请求操作都通过审计日志进行记录。审计日志保存在Bucket中,占用OSS部分存储容量。审计日志文件作为HDFS文件系统目录的一部分,存储在/.sysinfo路径下。您可以通过hdfs du命令查看HDFS审计日志数据的空间占用情况。 OSS-HDFS文件清单数据OSS-HDFS服务支持文件清单导出功能。清单文件保存在Bucket中,占用OSS部分存储容量。清单文件作为OSS-HDFS文件系统目录的一部分,存储在/.sysinfo路径下。您可以通过hdfs du命令查看OSS-HDFS文件清单文件的空间占用情况。 OSS-HDFS回收站OSS-HDFS回收站中的文件未达到指定保存时间前,并没有从HDFS文件系统中彻底删除,仍然继续占用OSS部分存储容量。您可以通过hdfs du命令查看OSS-HDFS回收站空间占用情况。 OSS-HDFS服务内部使用OSS-HDFS服务内部使用OSS部分空间暂存临时数据,例如异步任务信息,该部分占用1 GB以内的空间。 重要OSS-HDFS服务内部使用占用情况作为OSS标准存储容量进行统计,不支持通过hdfs du进行统计和查看。 相关文档存储费用 通过Jindo CLI访问 通过hadoop方式使用du命令 |
CopyRight 2018-2019 实验室设备网 版权所有 |