博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop学习记录2-Hadoop安装配置
阅读量:4127 次
发布时间:2019-05-25

本文共 966 字,大约阅读时间需要 3 分钟。

  • 安装前的环境:四台机器的时间一致;需要一台机器进行免密码登录,即可以访问任何一台机器,包括自己,而不需要输入密码。这样便于通过一台机器进行控制,而且避免每一次都需要输入密码。
    • 时间一致:
      • date查看时间
      • ntpdate -u xx.xx.xx.xx同步xx.xx.xx.xx服务器的时间到本机,一般使用ntpdate -u ntp.api.bz
        ntpdate
    • 设置免密码登录Setup passphraseless ssh
      • ssh登录方式:ssh 192.168.116.3
      • 第一步:node1上生成秘钥文件,公共秘钥和私有秘钥ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
      • 第二步,将公共秘钥加入到认证文件中:cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。到此node1能够访问node1自己了。
      • 第三部,将node1的公钥发送给node234,并添加到node234的认证文件中。node1中执行scp ~/.ssh/id_dsa.pub root@node2:/opt/,node2中执行ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa加上cat /opt/id_dsa.pub >> ~/.ssh/authorized_keys。其他node3、4同理。
        过程
        密匙验证原理
      • 第四步,解压Hadoop到linux指定文件,编辑etc/hadoop/hadoop-env.sh修改参数export JAVA_HOME=/usr/java/jdk1.7.0_79/
      • 修改hadoop/core-site.xml文件、hadoop/hdfs-site.xml文件、slaves文件,添加masters文件
        core-site.xml
        hdfs-site.xml
        slaves
        masters
        结构配置
      • 配置完成。将node1的配置复制到另外三个scp -r hadoop-2.5.1/ root@node2:/home/
      • 配置hadoop环境变量vi ~/.bash_profile。复制到另外三个。source ~/.bash_profile生效
        hadoop环境变量
    • 启动
      • 1、格式化hdfsbin/hdfs namenode -format
      • 2、启动NameNode daemon and DataNode daemonstart-dfs.sh
        启动界面
    • 访问验证
      namenode和secondarynode

转载地址:http://qqepi.baihongyu.com/

你可能感兴趣的文章
iOS菜鸟学习--如何避免两个按钮同时响应
查看>>
How to access the keys in dictionary in object-c
查看>>
iOS菜鸟学习—— NSSortDescriptor的使用
查看>>
hdu 3787 hdoj 3787
查看>>
hdu 3790 hdoj 3790
查看>>
hdu 3789 hdoj 3789
查看>>
hdu 3788 hdoj 3788
查看>>
zju 1003 zoj 1003
查看>>
zju 1004 zoj 1004
查看>>
zju 1005 zoj 1005
查看>>
zju 1006 zoj 1006
查看>>
【虚拟机】虚拟化架构与系统部署(Windows系统安装)
查看>>
字节跳动安卓开发实习生面试分享
查看>>
好书分享之——《能力陷进》
查看>>
阅读笔记《c++ primer》
查看>>
阅读笔记《C++标准程序库》
查看>>
基于mirror driver的windows屏幕录像
查看>>
C语言8
查看>>
Qt实现简单延时
查看>>
qml有关矩形说明
查看>>