Centos7安装Hadoop2.6.0集群

hadoop 专栏收录该内容
5 篇文章 0 订阅

一、环境准备与介绍
1、部署架构
使用的模式是 1m-2s
2、nameserver机器信息

192.168.1.89 node1
192.168.1.149 node2
192.168.1.180 node3

2、修改主机名称
2.1、分别修改三台机器主机名称

192.168.1.89上执行:hostnamectl set-hostname node1
192.168.1.149上执行:hostnamectl set-hostname node2
192.168.1.180上执行:hostnamectl set-hostname node3

2.2、分别修改三台机器hosts文件

vi /etc/hosts,新增
192.168.1.89 node1
192.168.1.149 node2
192.168.1.180 node3

2.3、补充说明

hostnamectl hostname是临时修改主机名,机器重启后会时效;
hostnamectl set-hostname hostname是永久修改,机器重启也有效;
hostnamectl set-hostname hostname命令相当于hostnamectl hostname+修改/etc/hostname中的内容为hostname;

3、ssh免密登录
3.1、生成私钥和公钥(三个节点都执行,id_dsa可随意命名)

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

3.2、将公钥内容追加到authorized_keys中(在node1上执行)

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3.3、把其他两台机器的id_dsa.pub复制到node1的authorized_keys文件中
3.4、将node1的authorized_keys文件拷贝到另外两台虚拟机的/root/.ssh/ 下面
3.5、免密码登录测试
在node1上执行ssh node2和ssh node3,应该已经可以免密码登陆了
4、安装配置jdk1.8
太过简单,不再赘述
二、安装Hadoop集群(以下操作三个节点都执行)
1、下载地址
https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
2、上传至三个节点并解压

cd /data/server
tar -zxvf hadoop-2.6.0.tar.gz

3、添加环境变量

vi /etc/profile,添加:
export HADOOP_HOME=/data/server/hadoop-2.6.0
export PATH=$PATH:${HADOOP_HOME}/bin:$PATH:${HADOOP_HOME}/Sbin
激活环境变量:source /etc/profile
验证环境变量:hadoop version

4、修改配置文件
4.1、配置 hadoop-env.sh文件

cd /data/server/hadoop-2.6.0/etc/hadoop/
vi hadoop-env.sh,修改export JAVA_HOME=配置为:
export JAVA_HOME=/usr/java/jdk1.8.0_172-amd64

4.2、配置core-site.xml文件

创建hadoop.tmp.dir目录:
mkdir -p /data/server/hadoop-2.6.0/tmp
vi core-site.xml,<configuration>标签中新增:
<property>
 <name>fs.default.name</name>   
 <value>hdfs://node1:9001</value>
</property>  
<property>    
  <name>hadoop.tmp.dir</name>    
  <value>/data/server/hadoop-2.6.0/tmp</value>
</property>
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

第一个property配置的是NameNode信息,即NameNode所在机器以及端口
第一个property配置hadoop工作目录
操作用户是root,所以hadoop.proxyuser.root
4.3、配置 hdfs-site.xml文件
 

创建dfs.namenode.name.dir目录:
mkdir -p /data/server/hadoop-2.6.0/tmp/namenode
mkdir -p /data/server/hadoop-2.6.0/tmp/datanode
vi hdfs-site.xml,<configuration>标签中新增:
<property>
 <name>dfs.replication</name>
 <value>2</value>
</property>
<property>
 <name>dfs.namenode.name.dir</name>
 <value>file:/data/server/hadoop-2.6.0/tmp/namenode</value>
</property>
<property>
 <name>dfs.datanode.data.dir</name>
 <value>file:/data/server/hadoop-2.6.0/tmp/datanode</value>
</property>
<property>  
    <name>dfs.http.address</name>  
    <value>node1:50070</value>  
    <description>Secondary get fsimage and edits via dfs.http.address</description>  
</property>  
<property>  
    <name>dfs.secondary.http.address</name>  
    <value>node2:50090</value>  
    <description>NameNode get the newest fsimage via dfs.secondary.http.address</description>  
</property>

4.4、配置 mapred-site.xml文件

mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml,<configuration>标签中新增:
<property>    
  <name>mapreduce.framework.name</name>    
  <value>yarn</value>  
</property>  
<property>    
  <name>mapreduce.jobhistory.address</name>    
  <value>node1:10020</value>  
</property>  
<property>    
  <name>mapreduce.jobhistory.webapp.address</name>    
  <value>node1:19888</value>  
</property>

4.5、配置 yarn-site.xml文件

vi yarn-site.xml,<configuration>标签中新增:
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
    <name>yarn.resourcemanager.address</name>
    <value>node1:8032</value>
</property>
<property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>node1:8030</value>
</property>
<property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>node1:8031</value>
</property>
<property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>node1:8033</value>
</property>
<property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>node1:8088</value>
</property>

4.6、编辑slaves文件

vi slaves,删除localhost并且新增:
node2
node3

4.7、格式化并启动服务

cd /data/server/hadoop-2.6.0/bin
./hdfs namenode -format
cd /data/server/hadoop-2.6.0/sbin
./start-all.sh

4.8、查看服务进程

[root@node1 sbin]# jps
5940 ResourceManager
5485 NameNode
[root@node2 sbin]# jps
24003 DataNode
24311 SecondaryNameNode
24763 NodeManager
[root@node3 sbin]# jps
6384 NodeManager
6086 DataNode

三、浏览器页面查看
在浏览器中输入:http://192.168.1.89:8088/ 和 http://192.168.1.89:50070
补充停止命令:/data/server/hadoop-2.6.0/sbin/stop-all.sh(此命令不能停止全部服务,需要用jps查看后kill掉)

 

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值