hadoop入门之namenode工作特点介绍

namenode始终在内存中保存metedata(整个文件系统的目录结构,每个目录有哪些文件,每个文件有哪些分块及每个分块保存在哪个DataNode上),用于处理“读请求”(不需要修改内容)
到有“写请求”到来时,namenode会首先对metedata修改的内容写editlog到磁盘(每一次改变都会同步到磁盘。),成功返回后,才会修改内存,并且向客户端返回。客户端在写数据到每个datanode中。namenode在将metadata写到editlog的时候会同步到磁盘。

Hadoop会维护一个fsimage文件,也就是namenode中metedata的镜像,但是fsimage不会随时与namenode内存中的metedata保持一致(因为非常大),而是每隔一段时间通过合并editlog来更新内容。Secondary namenode就是用来更新fsimage的

secondary namenode的工作流程

1.Secondary通知primary切换editlog(目的合并editlog)
2.Secondary从primary获得fsimage和editlog(通过http)
3.Secondary将fsimage载入内存,然后开始合并editlog
4.Secondary将新的fsimage发回给primary
5.Primary用新的fsimage替换旧的fsimage

什么时候checkpiont?
fs.checkpoint.period 指定两次checkpoint的最大时间间隔,默认3600秒。
fs.checkpoint.size 规定edits文件的最大值,一旦超过这个值则强制checkpoint,不管是否到达最大时间间隔。默认大小是64M。

(0)

相关推荐

  • UI入门必读!工作流程介绍

    小编:作为小白也好,已入门的UI设计师也好,你是否清楚的了解自己的工作内容,以及如何跟产品经理及交互设计师友好的配合工作呐? 题外话 我认为设计师在工作中需要清楚了解设计的目的,尤其是你做的不是大众化 ...

  • 电脑网卡的工作原理介绍(图文)

    相信那些拥有电脑的朋友是离不开上网这一重要的环节的,上网就需要用到你的电脑网卡了,那你知道电脑网卡是如何工作的吗?下面和大家一起分享电脑网卡的工作原理介绍: 一、网卡工作原理 发送数据时,网卡首先侦听 ...

  • hadoop入门之hadoop集群验证任务存放在不同的节点上

    Linux环境:CentOs6.4 Hadoop版本:Hadoop-1.1.2 master: 192.168.1.241 NameNode JobTracker DataNode TaskTrack ...

  • hadoop入门之设置datanode的心跳时间的方法

    Linux环境:CentOs6.4 Hadoop版本:Hadoop-1.1.2 master: 192.168.1.241 NameNode JobTracker DataNode TaskTrack ...

  • hadoop入门之验证hdfs是否能够正常运行的方法

    环境:CentOs6.4 Hadoop版本:hadoop-0.20.2 命令介绍: 复制代码 代码如下: ./hadoop fs -put xxxx hdfs://cui:9000/ fs:表明操作的 ...

  • hadoop入门之hdfs的重要配置项的说明

    复制代码 代码如下: <property> <name>fs.checkpoint.dir</name> <value>/disk1/hdfs/name ...

  • Dreamweaver CC2018软件工作界面介绍详解

    Dreamweaver(以下简称DW)是Adobe开发的网页设计软件,其实用性也是很强的,我给大家介绍一下最新的CC2018版本的工作界面,它和之前的CS6差别还是很大的哦 操作方法 01 先启动Dr ...

  • pro/ENGINEER的工作界面介绍

    Pro/Engineer操作软件是美国参数技术公司(PTC)旗下的CAD/CAM/CAE一体化的三维软件.Pro/Engineer软件以参数化著称,是参数化技术的最早应用者,在目前的三维造型软件领域中 ...

  • Premiere cs6 教程:[2]工作界面介绍

    这次我们介绍PR的工作界面,PR的工作界面是比较复杂的,通过介绍这个界面方便我们后期编辑 操作方法 01 首先我们先进入PR,你会看到这样一个复杂的界面,汤圆会跟大家一一介绍的 02 左上方的窗口是项 ...