HDFS文件元数据信息管理模块 - sxf

来源:百度文库 编辑:神马文学网 时间:2024/03/29 10:10:45
设计思想HDFS中对数据存储的最小单位为block,HDFS会将其存储的大文件打散成很多64M大小的block,并将这些block分别存储在集群中datanode机器上。服务器namenode主要存储文件元数据信息(文件目录结构,具体文件由那些block组成),该部分主要涉及的关键对象为:INode,INodeFile,INodeDirectory,Block,BlockInfo,FSDirectory NameNode主要负责存储文件目录结构以及具体文件由那些block组成这些元数据基本信息,以上对象存在于namenode上。上述对象的主要关系如下。   INode INode是抽象基类,从字面上能够了解到它表示一个文件属性目录结构中的一个节点,它包含的主要属性为:   //节点名称  protected byte[] name;   //父节点  protected INodeDirectory parent;  //最后修改时间  protected long modificationTime;  //访问时间  protected long accessTime;  //访问权限(同linux 0777,0666 之类)  private long permission; INodeFile INodeFile继承自INode,表示文件节点。 包含的主要属性如下: //该文件中包含的所有Block,这些对象并不包含实际的文件block内容,主要的属性为blocks,后续通过blockID和时间戳信息可以找到这些Block存在哪台datanode机器上,客户端直接与该datanode建立链接,请求这个BockID对应的Block中具体文件内容数据(后续再讲,该字段为关键字段) protected BlockInfo blocks[] = null; //block的复制个数 protected short blockReplication; //缺省block大小 protected long preferredBlockSize;  INodeDirectory INodeDirectory同样继承自INode,表示文件目录节点,主要包含的属性如下: //该文件目录下所有的子节点信息 private List children;  Block public class Block implements Writable, Comparable  Block本身是一个抽象概念,就表示HDFS中一个最小存储单元,其主要包含的属性如下: //BlockID标识 private long blockId; //这个Block包含多少字节数据 private long numBytes; //一个时间戳,表示Block的版本 private long generationStamp;  注:这个Block对象只是一个抽象的概念(你可以理解为一个数据块的标识,一个存储单元的标识),这个对象并不包含实际Block数据。 Block信息的读取就是client通过网络传递一个序列化的block对象到DataNode,DataNode在本机中的读取这个Block对应的存储文件,返回给客户端。Block是一个实现了Writable, Comparable的对象。说明Block对象可以进行序列化并通过网络进行传输,DataNode也可以通过HashMap的方式将Block与实际的存储文件进行对应关联。  BlockInfo  BlockInfo继承自Block,其包含的主要属性如下: //该Block所属的文件 private INodeFile          inode; /**     * This array contains triplets of references.     * For each i-th data-node the block belongs to     * triplets[3*i] is the reference to the DatanodeDescriptor     * and triplets[3*i+1] and triplets[3*i+2] are references      * to the previous and the next blocks, respectively, in the      * list of blocks belonging to this data-node.     */ private Object[] triplets  triplets是一个关键字段。通过triplets[3*i+1] 和 triplets[3*i+2]可以得到某台datanode机器上所有的block列表,triplets[3*i+1] 和triplets[3*i+2]为BlockInfo类型对象。该项功能主要应用在DatanodeDescriptor实例的private volatile BlockInfo blockList = null 这个字段中。 通过triplets[3*i]可以得到这个Block其他副本的所属datanode的位置,triplets[3*i]为DatanodeDescriptor类型对象 抓住BlockInfo就抓住了整个HDFS按Block进行文件分布式存储的关键。BlockInfo信息中不仅包括了一个Block都存储在哪些DataNode上,还包含了某个具体datanode上存储的所有Block信息,以及该block属于哪一个INodeFile。用户需要读取文件时首先通过INodeFile得到这个文件所有的Block---INodeFile中的 BlockInfo[] getBlocks() 方法。通过BlockInfo又可以得到Block存储的DataNodeInfo列表。 用户就可以向得到的DataNode列表的机器发送读取Block具体数据的请求(这部分具体实现后面再讲)。  在系统运行过程中,上述关键对象主要存储在内存中,也就是说HDFS的Namenode有一个内存镜像,其中的内容就是以上对象组成的树形结构,也许有人会问,如果Namenode当机会出现什么问题呢?这个问题问得好:)(具体的解决办法后续会详细讲解,目前先提一下)HDFS为了能够保证数据安全性,完整性,采用和数据库一样的容灾机制,记录数据操作行为日志:对应的功能对象为FSEditLog 。 系统定时将内存中的文件系统结构镜像序列化到磁盘(FsImage),并删除当前的EditLog 。 如果系统机器重启,Namenode会从镜像文件中读取目录结构信息,同时执行EditLog中记录的操作,用以恢复最新的内存镜像。  FSDirectory FSdirectory的一个主要作用是就是上述所说的从镜像文件中读取目录结构信息,同时执行EditLog中记录的操作,用以恢复最新的内存镜像。FSdirectory另一个主要作用就是操作INodeDirectory,INodeFile对象,对文件系统的目录,文件以及文件包含的Block进行操作。FSdirectory有一个关键属性:rootDir,这个对象是整个文件系统的根目录。该对象涉及的主要方法如下: void loadFSImage(Collection dataDirs, Collection editsDirs,StartupOption startOpt) throws IOException boolean mkdirs(String src, PermissionStatus permissions,boolean inheritPermission, long now) Block addBlock(String path, INode[] inodes, Block block) throws IOException private T addChild(INode[] pathComponents, int pos,T child, long childDiskspace, boolean inheritPermission)throws QuotaExceededException  INodeFileUnderConstruction 这个类继承自INodeFile,它的实例代表一个正在处于写入状态的文件,新文件的创建和文件的追加(文件追加目前HDFS支持不是很好)时都会使用到这个对象,INode有一个方法  boolean isUnderConstruction(),如果这个方法返回true,表示这个对象目前处于写入状态,可以将这个对象引用转化为INodeFileUnderConstruction。当文件处于isUnderConstruction状态时,往往就和文件租约产生关联,因为文件的写入操作都会首先实现申请一个租约(租约有专门一章进行讲解),从FSNameSystem的startFileInternal()方法中的部分逻辑代码可以看出端倪。//首先判断文件是否存在,并且处于文件写入状态if (myFile != null && myFile.isUnderConstruction()){//转换文件为INodeFileUnderConstruction类型INodeFileUnderConstruction pendingFile = (INodeFileUnderConstruction) myFile;// If the file is under construction , then it must be in our// leases. Find the appropriate lease record. //如果文件处于写入状态一定有租约与之对应Lease lease = leaseManager.getLease(new StringBytesWritable( holder)); 下面我们分析一下INodeFileUnderConstruction的关键属性以及方法INodeFile这个对象仅仅表示一个文件节点,它的大部分属性都是与BlockInfo相关的。而INodeFileUnderConstruction就会有一些文件创建以及追加时必要的信息,,详细如下://这个属性表示当前文件的租约属主是哪次应用StringBytesWritable clientName = null; // lease holderStringBytesWritable clientMachine = null;//client很可能也是datanode其中之一DatanodeDescriptor clientNode = null; // if client is a cluster node too. //这个属性主要应用于block的recover操作(该操作后续会详细描述)private int primaryNodeIndex = -1; // the node working on lease recovery//文件最后一个block需要写入的机器,这是很重要的属性,也是显而易见的,文件的追加写入一定是对最后一个Block进行操作private DatanodeDescriptor[] targets = null; // locations for last blockprivate long lastRecoveryTime = 0; 下面看一个很重要的方法,这个方法后续会详细描述。void assignPrimaryDatanode()当文件写入过程中,很可能在某些datanode上写入失败,这就需要对block进行recover操作,而恢复操作中的主节点就是那些写入正常的datanode。 本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/sxf_824/archive/2009/11/20/4842196.aspx