|
|
hdfs适合存储多大的单个文件？
hdfs适合存储大数据。但我想知道hdfs适合大数据，这个大指的是哪个方面。我现在有需求是要存储单个文件为GB级别的很多遥感数据。请问适合采用哪种分布…
关注者
35
被浏览
38,884
11 个回答
开源社区参与者，HBase PMC，爱好女&香水&博物馆&画
HDFS就比较适合。
1. HDFS就是为存储GB,TB级别以上的数据文件而设计的。不适合存储小文件。
2. 我们只需要考虑文件大小的下限即可。存储的文件的大小下限，要根据HDFS上的block块大小决定。起码要大于一个block块，比较合适。
3. hadoop 2.x默认块大小为128M. hadoop3.x默认块大小为256M
4. 建议设置块大小为接近你硬盘的输出速率的2的N次方。比如你的硬盘平均输出速率为200M/s.那么就设置成256M。如果是400M/s，就设置成512M.