eshadoop 插件安装

构建hadoop环境时为什么要修改主机名1？1.关闭hdfssite.xml 2中的HDFS permissions:DFS . permissions false 2。检查eclipse 插件是否设置了hadoop安装目录:将与linux下安装的hadoop版本相同的hadoop解压到windows的下一个文件夹，然后指定hadoop 插件目录，插件目录位于首选项的map/reduce的hadoopinstallationlocation3中，3.将所有hadoop节点的ip和主机名添加到windows的hosts文件中，4.关闭linux系统的防火墙。5.将hadoop的三个配置文件中涉及到的主机名全部改成ip地址，主文件和从文件都改成ip。

如果直接在windows的Eclipse项目中启动mapreduc程序，需要先把hadoop集群的配置目录下的xml全部复制到src目录下，这样程序就可以自动读取集群的地址，然后分布式运行(也可以自己写java代码设置job的配置属性)。如果不复制，项目中的bin目录没有完整的xml配置文件，那么windows执行的所有mapreduce程序都是通过本机的jvm执行的，作业名也是带有“本地”字样的作业，比如job_local_0001。

安装JDK和JRE第一；然后是Cygwin；然后启动SSHD服务，然后就可以配置搭建Hadoop云平台了。云平台搭建完成后，安装eclipse，将Hadoopeclipse开发包插件嵌入Eclipse。之后可以通过eclipse连接Hadoop云平台，实现其二次开发。具体的文件上传和下载可以通过HDFS提供的API来实现。

(1)准备1)安装JDK6或JDK72)安装scala2.10.x(注意版本)2)下载最新版本的IntellijIDEA(本文以IntellijIDEA community edition 13 . 1 . 1为例说明e799bee5baa6e4b893e5b19e，版本不同，界面布局可能会有所不同):3)下载的IntellijIDEA解压后，安装scala 插件然后就可以安装了。(2)搭建spark源代码的阅读环境(需要联网)的一种方法是直接选择导入项目—>选择Spark所在的目录—->“SBT，之后intellij会自动识别SBT文件并下载依赖的外部jar包。整个过程需要很长时间，取决于机器的网络环境(不建议在windows下操作，可能会遇到各种问题)，一般需要几十分钟。

1。Hadoop是一个可以分发大量数据的软件框架。但是Hadoop是以一种可靠、高效和可扩展的方式处理的。Hadoop之所以可靠，是因为它假设计算元素和存储会出现故障，所以它维护工作数据的多个副本，以确保可以为出现故障的节点重新分配处理。Hadoop是高效的，因为它以并行方式工作，从而加快了处理速度。

另外，Hadoop依赖于社区服务器，所以成本相对较低，任何人都可以使用。Hadoop是一个分布式计算平台，用户可以轻松构建和使用。用户可以在Hadoop上轻松开发和运行处理海量数据的应用。它具有以下优点:1 .可靠性高。Hadoop一点一点存储和处理数据的能力是值得信赖的。2.高可扩展性。Hadoop在可用的计算机集群之间分发数据和完成计算任务，可以很容易地扩展到数千个节点。

最近greenplum接入hadoop，采用了pxf 插件。Hadoop集群通过了kerberos认证。首先添加hadoop的参数:$ gpconfigcgp _ Hadoop _ target _ version HDP 2 $ gpconfigcgp _ Hadoop _ homev/usr/lib/Hadoop。具体版本参数参考官网。Hadoop的home自己设置然后配置java环境目录，每个段节点配置。

1。关闭hdfssite.xml 2中的HDFS permissions:DFS . permissions false 2。检查eclipse 插件是否设置了hadoop安装目录:将linux下安装的相同版本的hadoop解压到windows下一个文件夹。然后指定hadoop 插件的目录，hadoop 插件的目录位于首选项的map/reduction中。3.在windows的hosts文件中添加所有hadoop节点的ip和主机名。4.关闭linux系统的防火墙。5.将Hadoop的三个配置文件中涉及到的主机名全部改成ip地址，主文件和从文件都改成ip。

看是不是代理问题。我也有这个问题，后来我发现我用的全局代理让它无法访问。我可以通过移除代理或者添加代理规则来配置代理，然后测试mapredsite.xml中的job.tracker或者yarn框架是否可以正常连接，我也有这个问题。这个解决了吗？如何解决，如果没有填写Map/ReduceMaster，应该没有关系。