使用OSS 您所在的位置:网站首页 hdfsget会占用内存吗 使用OSS

使用OSS

2024-04-23 12:36| 来源: 网络整理| 查看: 265

OSS-HDFS文件数据块block

OSS-HDFS文件的所有数据块block均占用OSS Bucket的存储空间。OSS-HDFS文件数据块block占用是OSS空间主要占用部分,您可以通过hdfs du命令查看数据块block的空间占用情况。

OSS-HDFS文件checksum数据

OSS-HDFS支持HDFS checksum特性,数据写入时产生额外的checksum数据。开源HDFS checksum数据会占用Datanode的磁盘空间,OSS-HDFS文件的checksum数据占用OSS的空间。

默认情况下,数据正常写入每512字节生成4字节的checksum。在小文件或者小数据块写入的情况下会存在checksum数据放大的情况,属于正常现象。

重要

checksum数据的空间占用情况作为OSS标准存储容量进行统计,不支持通过hdfs du命令进行统计和查看。

OSS-HDFS文件空洞占用

OSS-HDFS在某些场景下支持通过JindoFuse客户端随机覆盖写入和修改文件。由于数据块block本身无法修改,系统需要通过delta增量文件的方式写入或修改文件,通过该方式写入和修改文件会额外占用OSS存储空间。

重要

通过delta增量文件的方式写入或修改文件的空洞占用情况作为OSS标准存储容量进行统计,不支持通过hdfs du命令进行统计和查看。

OSS-HDFS审计日志数据

OSS-HDFS服务对文件读写请求操作都通过审计日志进行记录。审计日志保存在Bucket中,占用OSS部分存储容量。审计日志文件作为HDFS文件系统目录的一部分,存储在/.sysinfo路径下。您可以通过hdfs du命令查看HDFS审计日志数据的空间占用情况。

OSS-HDFS文件清单数据

OSS-HDFS服务支持文件清单导出功能。清单文件保存在Bucket中,占用OSS部分存储容量。清单文件作为OSS-HDFS文件系统目录的一部分,存储在/.sysinfo路径下。您可以通过hdfs du命令查看OSS-HDFS文件清单文件的空间占用情况。

OSS-HDFS回收站

OSS-HDFS回收站中的文件未达到指定保存时间前,并没有从HDFS文件系统中彻底删除,仍然继续占用OSS部分存储容量。您可以通过hdfs du命令查看OSS-HDFS回收站空间占用情况。

OSS-HDFS服务内部使用

OSS-HDFS服务内部使用OSS部分空间暂存临时数据,例如异步任务信息,该部分占用1 GB以内的空间。

重要

OSS-HDFS服务内部使用占用情况作为OSS标准存储容量进行统计,不支持通过hdfs du进行统计和查看。

相关文档

存储费用

通过Jindo CLI访问

通过hadoop方式使用du命令



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有