Hadoop datanode重新加载失败无法启动解决

笔者使用的是基于虚拟机的Hadoop分布式安装,由于关闭datanode和namenode的顺序不恰当,所以经常会出现datanode加载失败的情况。

本人的解决方法适用于首次已经成功启动整个集群,但是由于不正常的操作造成第二次无法正常启动。首次的启动失败可能原因有很多:可能是由于配置文件错误写入造成的,或是由于ssh无密码登陆配置错误造成。

而第二次的错误原因与首次启动的有一些区别,排错重点应该集中在程序在运行中的一些动态加载而生成的文件上,笔者要讨论的是第二种情况:

大多原因就是因为hadoop的datanode的VERSION文件中的namespaceID与namenode中的VERSION文件中的namespaceID二者出现不一致的情况。而namespaceID的生成笔者推断应该是在执行:hdfs namenode -format 这个命令的时候生成的。

解决步骤如下:

1,首先停掉namenode上相关的进程:切换到hadoop的/sbin目录下:

sh stop-dfs.sh

sh stop-yarn.sh

2,切换到hadoop的相应/current目录下将current下的所有文件清除。

3,将datanode与namenode的/current 下VERSION等相应文件文件清除后,回到namenode上,执行hsfs namenode -format命令,接着切换到namenode的hadoop的/sbin目录下:

执行sh start-dfs.sh

sh start-yarn.sh

(旧版本的mapre 被新版本的yarn所替代,命令上多少有些不同)

既可以看到相应的节点成功加载。

相应的思想就是,当出错时,清除掉一切干扰思路的文件,然后整理思绪,重新开始,这样要远比在原地徘徊要好。

(由于我们在配置文件中指明的文件夹只有 hdfs tmp log,所以其余的文件也好文件夹也好都是动态执行脚本生成创建的,删除之后只要hadoop整个系统可以工作就会生成,即便错删,VM的 snapshot 也会拯救这个世界。)

(0)

相关推荐

  • Hadoop datanode重新加载失败无法启动现象解决方法介绍

    本人的解决方法适用于首次已经成功启动整个集群,但是由于不正常的操作造成第二次无法正常启动。首次的启动失败可能原因有很多:可能是由于配置文件错误写入造成的,或是由于ssh无密码登陆配置错误造成 笔者使用 ...

  • 斗鱼直播加载失败怎么办?解决斗鱼直播加载失败方法

    解决斗鱼直播加载失败方法 如果多次出现这个问题重启软件也没用的话,可以尝试下面的方法解决,我们找到手机wifi连接. 接下来长按选中的wifi网络 找到修改网络. 再找到显示高级选项. 接下来找到ip ...

  • 微信无法加载图片怎么办?微信图片加载失败的多种解决方法

    微信在聊天的过程中,斗图是很多用户割舍不掉的乐趣,很多用图片表达出来的意思往往比用文字表达更加的方便,但是有时候由于某些原因,微信加载的时候会出现图片加载错误或者无法加载的情况,对于这种情况小编总结出 ...

  • 靠谱助手启动卡在99%如何解决 加载失败卡99解决方法攻略大全

    靠谱助手是靠谱社区于2013年5月18日推出的一个专为第三方智能安卓模拟器提供管理的免费应用程序,靠谱助手目前支持bluestacks安卓模拟器,是国内最完美的PC端管理软件.靠谱助手是一款非常好用的 ...

  • Win7启动项太多导致加载失败怎么解决

    win7系统启动项太多导致加载失败改如何解决,下面就为大家分享下解决方法. 方法一.系统设置 如果是由于系统设置问题,可对系统的开机启动项进行设定,用户可根据自己的需要设置哪些启动项不需要加载,哪些启 ...

  • Win7系统启动项太多导致加载失败的两种解决方法

    win7系统启动项太多导致加载失败改如何解决,下面就为大家分享下两种解决方法,不会的朋友可以参考本文,希望能对大家有所帮助. 方法一.系统设置 如果是由于系统设置问题,可对系统的开机启动项进行设定,用 ...

  • 驱动加载失败怎么解决?

    操作方法 01 源:U大师 当我们想要重新去更新加载驱动,难免会遇到驱动加载失败的情况,此时该如何处理?今天小编就来教大家在驱动出现加载失败时如何解决的方法. 故障原因一.驱动加载失败可能原因是驱动程 ...

  • 网易邮箱助手打不开怎么办?网易邮箱助手加载失败解决方法

    网易邮箱助手显示”加载失败“解决方法。什么在打开网易邮箱助手之后会出现“加载失败”的提示呢?这是为什么呢?需要怎么解决呢?下文就让小编跟大家讲讲网易邮箱助手加载失败解决方法。 网易邮箱助手显示”加载失 ...

  • win7系统启动项太多导致加载失败怎么办?

    win7系统启动项太多导致加载失败怎么办? 方案一.系统设置 如果是由于系统设置中有问题,可对Win7系统的开机启动项进行设定,用户可根据自己的需要设置哪些启动项不需要加载,哪些启动项可以加载. 方案 ...