HDFS用户指南(翻译） - 企业应用 - Java - JavaEye论坛

发表时间：2008-08-14 关键字: hdfs hadoop
引用
相关文章: Hadoop分布式文件系统：架构和设计要点(翻译)
Hadoop分布式系统（中）
HADOOP的初次尝试
推荐圈子:大网络
更多相关推荐
HDFS用户指南
原文地址：http://hadoop.apache.org/core/docs/current/hdfs_user_guide.html
译者：dennis zhuang(killme2008@gmail.com),有错误请指正，多谢。
目的
本文档可以作为使用Hadoop分布式文件系统用户的起点，无论是将HDFS应用在一个Hadoop集群中还是作为一个单独的分布式文件系统使用。HDFS被设计成可以马上在许多环境中工作起来，那么一些HDFS的运行知识肯定能大大地帮助你对一个集群做配置改进和诊断。
Hadoop Quickstart ，给初次使用用户
Hadoop Cluster Setup 大规模、分布式集群
本文档的剩余部分假设你已经搭设并运行了一个至少拥有一个Datanode的HDFS。基于本文档的目的，Namenode和Datanode可以运行在同一台机器上。
PDF 文档中看到，记录编号HADOOP-1652 .
PDF 文档，编号为HADOOP-692 。
setSafeMode() 方法的JavaDoc。
译注：详细介绍下safemode的配置参数，在safemode状态，Namenode会等待所有的datanode报告他们自己的block信息，看看所有的block的副本是否达到最低要求的数目，这个数目可以通过dfs.replication.min参数配置，默认是1,也就是至少要求有一个副本。当报告合格的Datanode的数目达到一定百分比，Namenode才会离开safemode状态。这个百分比也是可配置的，通过 dfs.safemode.threshold.pct参数，默认是0.999f(也就是要求99.9%的Datanode 合格）。Namenode在合格的datanode数目达到要求的时候，并不是马上离开safemode状态，会有一个扩展时间，让剩余的 datanode来报告block信息，这个扩展时间默认是30秒，可以通过 dfs.safemode.extension参数配置，单位是毫秒。
upgrade wiki 。HDFS在任何时间只能有一个备份，因此在升级前，管理员需要通过'bin/hadoop dfsadmin -finalizeUpgrade'命令移除现有的备份。下面简要描述了典型的升级过程：
1）在升级Hadoop前，如果已经存在备份，需要先结束（finalize)它。可以通过'dfsadmin -upgradeProgress status'命令查询集群是否需要执行finalize
2)停止集群，分发部署新版本的Hadoop
3）执行新版本的hadoop，通过添加 -upgrade 选项，例如/bin/start-dfs.sh -upgrade
4)大多数情况下，集群在升级后可以正常运行。一旦新的HDFS在运行若干天的操作后没有出现问题，那么就可以结束(finalize)这次升级。请注意，在升级前删除的文件并不释放在datanode上的实际磁盘空间,直到集群被结束（finalize)升级前。
5）如果有需要回到老版本的Hadoop，那么可以：
a)停止集群，分发部署老版本的Hadoop
b)通过rollback选项启动集群，例如bin/start-dfs.sh -rollback
Permissions User and Administrator Guide 。
PoweredBy Hadoop 列出了一些部署Hadoop在大规模集群上的组织和机构。HDFS在每个集群上只有一个Namenode节点，Namenode节点上可用内存是当前伸缩性的主要限制。在非常大规模的集群上，增加HDFS中存储的文件的平均大小，将可以帮助提高集群的大小而不用增加Namenode的内存需求。默认的配置可能不适合非常大规模的集群应用。Hadoop FAQ 页列出了对于大规模Hadoop集群的配置改进建议。
Hadoop Home Page : Hadoop一切的起始页。
Hadoop Wiki :由社区维护的wiki文档。
FAQ from Hadoop Wiki.
HadoopJavaDoc API .
Hadoop User Mailing List :core-user[at]hadoop.apache.org .
浏览conf/hadoop-default.xml 文件，它包括了当前可用配置变量的概括介绍。
360pskdocImg_0