怎么在ubantu里面安装伪分布式Hadoop?

Hadoop的安装方式分为三种模式:单机模式,伪分布式模式,分布式模式。
1.单机模式:Hadoop 默认模式为非分布式模式(本地模式),无需进行其他配置即可运行。非分布式即单 Java 进程,方便进行调试。
2.伪分布式模式:Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。
3.分布式模式:使用多个节点构成集群环境来运行Hadoop。
接下来我为大家介绍一下伪分布式的安装方法

操作方法

  • 01

    第一步,创建Hadoop用户。 sudo useradd -m hadoop -s /bin/bash # 创建hadoop用户 $sudo passwd hadoop # 修改密码 $sudo adduser hadoop sudo # 增加管理员权限 $# 注销并使用 Hadoop 用户登录

  • 02

    第二步,注销并使用 Hadoop 用户登录,接下来更新 apt 并且安装 vim。 $sudo apt-get update # 更新apt $sudo apt-get install vim # 安装vim $sudo apt-get install openssh-server # 安装ssh $sudo apt-get install openjdk-7-jre openjdk-7-jdk # 安装Java $vim ~/.bashrc # 设置JAVA_HOME

  • 03

    安装上ssh,配置为无密码登录 $ cd ~/.ssh $ssh-keygen -t rsa # 一直按回车就可以 $cat ~/id_rsa.pub >> ~/authorized_keys $scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/ # 传输公钥 到Slave1

  • 04

    安装java的环境。 sudo apt-get install openjdk-7-jre openjdk-7-jdk vim ~/.bashrc # 设置JAVA_HOME 在配资文件中添加。 export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 JAVA_HOME 变量生效: source ~/.bashrc

  • 05

    安装 Hadoop : cd ~/下载 $sudo tar -zxvf ./hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中 cd /usr/local/ sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop sudo chown -R hadoop ./hadoop 修改配置文件 core-site.xml : vim /usr/local/hadoop/etc/hadoop/core-site.xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> 修改配置文件 hdfs-site.xm <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property> </configuration>

  • 06

    启动好Hadoop。 cd /usr/local/hadoop $bin/hdfs namenode -format # namenode 格式化 $sbin/start-dfs.sh # 开启守护进程 $jps 若成功启动则会列出如下进程: NameNode、DataNode和SecondaryNameNode。

  • 07

    运行 WordCount 实例。测试一下。 bin/hdfs dfs -mkdir -p /user/hadoop # 创建HDFS目录 $bin/hdfs dfs -mkdir input $bin/hdfs dfs -put etc/hadoop/*.xml input # 将配置文件作为输入 $bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+' $bin/hdfs dfs -cat output/* # 查看输出

(0)

相关推荐

  • 安装Hadoop1.0.4伪分布式的方法

    一、使用环境 操作系统:Ubuntu12.04 Hadoop版本:1.0.4 二、Hadoop官网安装手册 单机安装分为“standalone”和“pseudo-distributed”两种模式,我使 ...

  • windows下远程连接ubantu

    windows下远程连接ubantu

  • MapReduce 入门之一步步自实现词频统计功能的教程

    笔记中提供了大量的代码示例,需要说明的是,大部分代码示例都是本人所敲代码并进行测试,不足之处,请大家指正~ LZ 本来想先仔细写一写 Hadoop 伪分布式的部署安装,然后介绍一些 HDFS 的内容再 ...

  • apk防破解:Android apk加密方案

    APP加密也称应用加密,是指对apk文件进行加密保护,防止被破解者反编译.二次打包.破解等攻击. 盗版APP不仅破坏用户信息安全,损害用户的合法利益,更直接给正版应用开发者造成巨大的商业价值损失.所以 ...

  • HADOOP安装与配置之安装配置篇

    HADOOP安装与配置主要包括如下内容: 安装配置.环境变量配置.配置数据目录和namenode服务地址. 设置JobTracker 服务地址.设置分布式数据备份数. 配置主机hosts.复制已配置好 ...

  • hadoop入门之通过页面验证hadoop是否安装成功的方法

    Linux环境:CentOs6.4 Hadoop版本:hadoop-0.20.2 验证Hadoop是否安装成功主要通过以下两个网址。 http://localhost:50030(MapReduce的 ...

  • win7下hadoop安装配置注意事项

    在win7下安装hadoop和其他windows平台有很多不同,通用的步骤就不重复了,把遇到的问题总结一下给大家参考,以免走弯路。 1.Do you want to use a different n ...

  • GlusterFS分布式文件系统的安装配置教程

    GlusterFS主要应用在集群系统中,具有很好的可扩展性。软件的结构设计良好,易于扩展和配置,通过各个模块的灵活搭配以得到针对性的解决方案。可解决以下问题:网络存储,联合存储(融合多个节点上的存储空 ...

  • win10环境下安装Ubantu双系统(详解图解)

    win10环境下安装Ubantu双系统(详解图解)