亚洲av观看网址_黄色先锋影音成人在线_国产成人自拍a片_亚洲色WWW成人永久_97国产成人观看

阿里云搭建Hadoop集群

2019-08-18 00:48:09

阿里云搭建Hadoop集群

https://blog.csdn.net/bqw18744018044/article/details/79103931

  • 兩臺服務(wù)器,一臺做master,一臺做worker,worker就是slave。建議用之前配置好的服務(wù)器做master,新的主機做worker。

  • master上的工作


  • 第一步通過vim hadoop /etc/hosts在master中添加worker的hostname


  • worker1

  • worker2

  • worker3

  • .....

  • 1

  • 2

  • 3

  • 4

  • 第二步配置ssh無密碼登陸


  •  1. 將master上的公鑰xxx.pub復(fù)制到worker上的authorized_keys里面。

  •      scp xxx.pub worker_ip


  •  2. 在worker中更改一下文件的權(quán)限。

  •      chmod 600 authorized_keys

  •      chmod 700 .ssh

  • 1

  • 2

  • 3

  • 4

  • 5

  • 6

  • 第三步將master中的配置好的hadoop目錄復(fù)制到worker中


  • 首先,在master中壓縮hadoop文件,在拷貝到worker中。網(wǎng)上很多教程是直接拷貝文件夾到worker中,這種做法的效率極低,文件的傳輸很慢,一定要壓縮后再拷貝文件。

  • tar czvf hadoop-2.8.1.tar  hadoop-2.8.1

  • scp  hadoop-2.8.1.tar worker_ip

  • 1

  • 2

  • 3

  • worker上的工作


  • 第一步修改hostname為對應(yīng)的worker,并修改對應(yīng)的hosts中的IP映射。


  • 第二步配置java環(huán)境。


  • 第三步配置/etc/profile


  • 1、2、3步參考我的上一篇博客進行完成。hadoop環(huán)境搭建。


  • 第四步將從master中拷貝過來的hadoop壓縮包進行解壓,并移動到software目錄下。


  • 這次就完成了hadoop集群的搭建。


  • 回到master中,使用./sbin/start-all.sh開啟Hadoop集群。


  • 在master中執(zhí)行hadoop dfsadmin -report查看集群是否正常啟動,下圖表示啟動成功:

  •  ———————————————— 

  • 版權(quán)聲明:本文為CSDN博主「vlions 」的原創(chuàng)文章,遵循CC 4.0 by-sa版權(quán)協(xié)議,轉(zhuǎn)載請附上原文出處鏈接及本聲明。

  • 原文鏈接:https://blog.csdn.net/qq_22600319/article/details/78241628


首頁
產(chǎn)品
新聞
聯(lián)系
罗江县| 沾化县| 河间市| 宁阳县| 新干县| 黔西县| 顺昌县| 永善县| 昌平区| 安阳市| 孝昌县| 咸阳市| 渑池县| 潮州市| 肥东县| 体育| 贺兰县| 都兰县| 香格里拉县| 花垣县| 衡南县| 丰台区| 孟津县| 小金县| 云林县| 固阳县| 廉江市| 武隆县| 榕江县| 民勤县| 太原市| 徐汇区| 宁武县| 民勤县| 茂名市| 德兴市| 柘荣县| 民勤县| 务川| 云安县| 甘孜县|