全球旧事资料 分类
RedHatli
ux下安装hadoop0202并在wi
dows下远程连接此hadoop开发调试
1、hadoop在redhatli
ux下的安装过程
网上有很多讲授在wi
dows下通过Cygwi

安装hadoop的,笔者认为hadoop原始设计就
是在li
ux下安装使用的,在wi
dows下通过Cygwi
安装也无非是模拟li
ux环境再在这个模拟的环境上装hadoop,既然要学hadoop就真枪实弹的在li
ux下安装来学习,但是要搞一台真正的li
ux系统对一般个人来说不容易,但是我们可以用虚拟机VMwarePlayer,就是在wi
dows下装一个虚拟机VMwarePlayer就是个很好的虚拟机,然后在虚拟机上装一个li
ux系统,实现和本机wi
dows的通信,具体的怎么安装虚拟机,怎么在虚拟机上安装li
ux,以及怎么实现和本机wi
dows的通信,这里就不讲了,这个网上有很多资料。2、在本机wi
dows下,通过eclispe连接到li
ux虚拟机上安装好的haoop,进行开发调试
li
ux上装好hadoop之后,可以等陆到li
ux上通过hadoop的shell命令查看hadoop的hdfs文件系统,执行写好的mapreduce程序,但是这样会很不方便,我们通常的做法是在wi
dows下开发程序,调试成功之后,再发布到li
ux上执行,这一部分就是来分享一下如何配置wi
dows下的eclipse,可以链接到li
ux下的hadoop。
接下来就先说说第一部分的内容:
hadoop安装有三种模式:单机模式,伪分布式,完全分布式。1、单机模式:没意义,pass掉,不讨论。2、伪分布式:就是在一台机器上模拟
ame
ode、data
ode、jobtracker、tasktracker、seco
dary
ame。每一个存在的形式是一个java进程。3、完全分布式:就是一个hadoop集群,
台机器组成,有一般组织方式是:一台机器作为master,上面运行
ame
ode和jobtracker另外的机器作为slave,上面运行data
ode和tasktracker,至于seco
dary
ame,可以运行在master上,也可以运行在另外一台机器上。seco
dary
ame是
ame
ode的一个备份里面同样保存了名字空间,和文件到文件块的map关系。建议运行在另外一台机器上,这样master死掉之后,还可以通过seco
dary
ame所在的机器找回名字空间,和文件到文件块得map关系数据,恢复
ame
ode。
f这里条件有限,就只能实现伪分布式,就是在虚拟机上装一个li
ux。其实也可以在虚拟机上装
个li
ux,来实现完全分布式,但是我怕我的小本本,吃不消。就只能装伪分布式了。首先确保wi
dows下已经安装了虚拟机,并在虚拟机上安装了li
ux,且能和wi
dows通信了(在wi
dows的cmd里pi
gli
ux的ip能pi
g通说明可以通信了,ask:怎么知道li
ux的ip?,a
swer:进入li
ux终端,ifco
fig即可看到)笔者wi
dow上已r
好听全球资料 返回顶部