怎么安装hadoop

Hadoop集群肯定还是要在linux下使用好些,但是对于想尝鲜的开发者或者上层应用开发来说,在windows下搭建一个单节点的应用也是蛮有必要的,当然只作为开发测试环境。

一、环境准备

  1. JDK安装
  2. Hadoop安装包(官网下载)
  3. hadooponwindows-master(可使配置更简洁)

二、安装配置

1、以管理员身份解压Hadoop安装包,

2、配置Hadoop环境变量,

我的电脑 --> 属性 --> 高级系统设置 --> 高级 --> 环境变量,新建HADOOP_HOME,然后将%HADOOP_HOME%\bin添加到Path中。

3、新建data(下面建俩子文件夹namenode和datanode)和tmp目录,

4、修改启动类 hadoop-env.cmd

主要是设置JAVA_HOME的路径,我的文件目录在 E:\Dev2\hadoop\hadoop-2.6.0\etc\hadoop,(这里注意一下:如果jdk路径中有“Program Files”,则将Program Files改为 PROGRA~1,否则会报错)

5、修改配置文件(core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml)

核心操作就在这四个配置文件上面了,(如果下载了hadooponwindows-master,解压后可以直接覆盖bin和etc目录,然后只修改这四个文件夹中的路径信息就可以了)

(1)core-site.xml

(2)hdfs-site.xml

(3)mapred-site.xml

(4)yarn-site.xml

6、启动格式化HDFS

首先,hadoop version,查看是否能正常运行,

然后,执行 hdfs namenode -format

格式化之后,namenode文件里会生成一个current文件,则格式化成功。

三、Hadoop启动

在cmd中执行 start-all.cmd 命令,启动Hadoop,路径:E:\Dev2\hadoop\hadoop-2.6.0\sbin。

运行成功后,会出现四个窗口,分别是:yarn-resourcemanager、yarn-nodemanager、hadoop-namenode、hadoop-datanode。

如上,则恭喜,启动成功。

四、HDFS操作测试

安装好了Hadoop环境,接下来我们就敲下hadoop命令,上传几个文件操作实战一下。

1、创建目录

hadoop fs -mkdir hdfs://localhost:9000/my/

hadoop fs -mkdir hdfs://localhost:9000/my/testinput

2、上传文件

hadoop fs -put E:\test01.txt hdfs://localhost:9000/my/testinput

hadoop fs -put E:\test02.txt hdfs://localhost:9000/my/testinput

3、查询文件

hadoop fs -ls hdfs://localhost:9000/my/testinput

查询到我们刚刚上传的文件啦,恭喜,测试成功。

五、管理页面

Hadoop自带了web UI管理页面,

1、资源管理(localhost:8088)

2、节点管理(localhost:50070)

总体来说Hadoop在windows下的安装还是比较简单的,只要按部就班就可以了。

(0)

相关推荐

  • 【一起学Hadoop】在windows系统中安装hadoop 一

    这一篇主要是Cygwin的安装,Cygwin是Windows平台下模拟Unix环境的工具,需要在安装Cygwin的基础上安装Hadoop.根据操作系统的需要下载32位或64的安装文件.下载请输入图片中 ...

  • CentOs安装hadoop

    操作方法 01 CentOs安装hadoop 今年五月份学习hadoop时,看到一篇关于hadoop集群安装,并附带相关测试的博客,写得特别好,也很具体,本人亲测,运行顺畅,学习一个月之后,由于种种原 ...

  • win7下hadoop安装配置注意事项

    在win7下安装hadoop和其他windows平台有很多不同,通用的步骤就不重复了,把遇到的问题总结一下给大家参考,以免走弯路。 1.Do you want to use a different n ...

  • 怎么在ubantu里面安装伪分布式Hadoop?

    Hadoop的安装方式分为三种模式:单机模式,伪分布式模式,分布式模式. 1.单机模式:Hadoop 默认模式为非分布式模式(本地模式),无需进行其他配置即可运行.非分布式即单 Java 进程,方便进 ...

  • linux下hadoop配置过程

    linux下hadoop配置过程

  • 安装Hadoop1.0.4伪分布式的方法

    一、使用环境 操作系统:Ubuntu12.04 Hadoop版本:1.0.4 二、Hadoop官网安装手册 单机安装分为“standalone”和“pseudo-distributed”两种模式,我使 ...

  • hadoop入门之通过页面验证hadoop是否安装成功的方法

    Linux环境:CentOs6.4 Hadoop版本:hadoop-0.20.2 验证Hadoop是否安装成功主要通过以下两个网址。 http://localhost:50030(MapReduce的 ...

  • HADOOP安装与配置之安装配置篇

    HADOOP安装与配置主要包括如下内容: 安装配置.环境变量配置.配置数据目录和namenode服务地址. 设置JobTracker 服务地址.设置分布式数据备份数. 配置主机hosts.复制已配置好 ...

  • 在win7上hadoop环境搭建的方法(图)

    操作系统:win7 hadoop版本:CDH3u6 1、下载安装JDK,以及Eclipse 具体看此链接:http://blog.csdn.net/weixuehao/article/details/ ...

  • Hadoop datanode重新加载失败无法启动现象解决方法介绍

    本人的解决方法适用于首次已经成功启动整个集群,但是由于不正常的操作造成第二次无法正常启动。首次的启动失败可能原因有很多:可能是由于配置文件错误写入造成的,或是由于ssh无密码登陆配置错误造成 笔者使用 ...