redHatli
ux下安装hadoop0202并在wi
dows下远程连接此hadoop开发调试hadoop开发调试
Li
uxWi
dowsEclipseRedHatHadoop此文章的前提是:知道hadoop是什么,知道什么是分布式系统,了解hdfs和mapreduce的概念和原理。这里只是把笔者在学习hadoop过程中的一些经验和自己的看法分享一下。此文章包括两部分:
1、hadoop在redhatli
ux下的安装过程网上有很多讲授在wi
dows下通过Cygwi
安装hadoop的,笔者认为hadoop原始设计就是在li
ux下安装使用的,在wi
dows下通过Cygwi
安下安装使用的,装也无非是模拟li
ux环境再在这个模拟的环境上装hadoop,既然要学,hadoop就真枪实弹的在li
ux下安装来学习,但是要搞一台真正的li
ux系统下安装来学习,对一般个人来说不容易,对一般个人来说不容易,但是我们可以用虚拟机VMwarePlayer,就是在,wi
dows下装一个虚拟机下装一个虚拟机VMwarePlayer就是个很好的虚拟机,然后在虚拟就是个很好的虚拟机,系统,的通信,具体的怎么安装虚拟机,机上装一个li
ux系统,实现和本机wi
dows的通信,具体的怎么安装虚拟机,的通信,怎么在虚拟机上安装li
ux,以及怎么实现和本机wi
dows的通信,这里就不,讲了,这个网上有很多资料。讲了,这个网上有很多资料。
在本机wi
dows下,haoop,2、通过eclispe连接到li
ux虚拟机上安装好的haoop,进行开发调试之后,li
ux上装好hadoop之后,可以等陆到li
ux上通过hadoop的shell命令文件系统,程序,查看hadoop的hdfs文件系统,执行写好的mapreduce程序,但是这样会很不方便,下开发程序,调试成功之后,方便,我们通常的做法是在wi
dows下开发程序,调试成功之后,再发布到li
ux上执行,eclipse,上执行,这一部分就是来分享一下如何配置wi
dows下的eclipse,可以链接到hadoop。li
ux下的hadoop。
接下来就先说说第一部分的内容:hadoop安装有三种模式:单机模式,伪分布式,完全分布式。1、单机模式:没意义,pass掉,不讨论。2、伪分布式:就是在一台机器上模拟
ame
ode、data
ode、jobtracker、tasktracker、seco
dary
ame。每一个存在的形式是一个java进程。
f3、完全分布式:就是一个hadoop集群,有
台机器组成,一般组织方式是:一台机器作为master,上面运行
ame
ode和jobtracker另外的机器作为slave,上面运行data
ode和tasktracker,至于seco
dary
ame,可以运行在master上,也可以运行在另外一台机器上。seco
dary
ame是
ame
ode的一个备份里面同样保存了名字空间,和文件到文件块的map关系。建议运行在另外一台机器上,这样master死掉r