Hadoop-2.7.1安装与配置
前面我们说了,旧版hadoop-1.2.1的安装配置,这也是好几年前的版本了吧。而现在最新版本是hadoop-2.7.1 。虽然,大体上hadoop的安装步骤基本一致,但是最新版本与hadoop-1.2.1不管是目录结构,亦或是脚本什么的都有了个很大的改变。所以,我便有写了一篇关于hadoop-2.7.1的安装配置博客。当然,最好的教程还是在官网,所以本文仅供参考,真正可行的还是在官网: http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleCluster.html
一、准备
jdk-7u17-linux-x64.tar.gz
hadoop-2.7.1.tar.gz
二、jdk、ssh安装
可以参考前面的安装步骤:
http://cyw.iteye.com/blog/2251727
三、安装hadoop-2.7.1
1、将hadoop-2.7.1.tar.gz放在桌面,打开终端,cp到喜欢的目录之下。比如我安装在/home/hadoop/目录下
cp hadoop-2.7.1.tar.gz /home/hadoop/
2、解压安装hadoop-2.7.1
sudo tar -zxvf hadoop-2.7.1.tar.gz
3、进入hadoop-2.7.1文件夹,配置环境变量,打开etc/hadoop/hadoop-env.sh。
sudo gedit etc/hadoop/hadoop-env.sh
在文件里编辑如下JAVA_HOME变量,改为自己的java安装目录:
export JAVA_HOME=/usr/lib/java/jdk1.7.0_17
4、进入hadoop文件夹
bin/hadoop
输出如下:
5、如果是单机模式的话,这是便可以使用了:
6、如果是伪分布式的话,则还需要配置一些。打开etc/hadoop/core-site.xml
sudo gedit etc/hadoop/core-site.xml
编辑内容如下:
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
7、打开etc/hadoop/hdfs-site.xml
sudo gedit etc/hadoop/hdfs-site.xml
编辑内容如下:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
8、此时,hdfs的配置已经完成。可以开启namenode 、secondarynomenode、datanode了。此时,hadoop-2.7.1建议我们使用hdfs而不是hadoop脚本,而且部分hdfs的操作放在sbin目录的脚本里面。所以:
#格式化namenode bin/hdfs namenode -format #开启hdfs的相关节点 sbin/start-dfs.sh #关闭hdfs节点 sbin/stop-dfs.sh
可以使用浏览器url:localhost:50070进行web查看管理。
9、配置yarn计算框架(算是Map/Reduce的升级版)
打开etc/hadoop/mapred-queues.xml.template
sudo gedit etc/hadoop/mapred-queues.xml.template
编辑内容如下:
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
10、打开etc/hadoop/yarn.site.xml
sudo gedit etc/hadoop/yarn-site.xml
编辑如下:
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
11、此时,关于yarn计算框架也配置完成了,可以开始使用了。
#启动yarn sbin/start-yarn.sh #关闭yarn sbin/stop-yarn.sh
12、已经配置完成,全部开启之后,输入命令:
jps
出现以上输出,即是说明安装配置完成了。
注意:如果在开启的时候,出现无法创建、打开目录文件的情况时,即是说明,当前用户没有此文件操作权限,所以需要修改权限:
sudo chmod 777 *
尤其是修改hadoop-2.7.1目录、logs目录及其中文件、etc目录及其中的hadoop目录及其其中的文件,这些的权限。
以上,便安装配置完成了。以下链接是所需要的安装包:
以及hadoop-1.2.1的安装配置文章:
相关推荐
该版本是hadoop-2.7.1请选择对应版本,本人测试可以使用,直接解压配置环境变量,并添加hadoop.dir.home变量即可
hadoop-common-2.7.1-bin-master-master.zip配置HADOOP_HOME:hadoop-common-2.7.1-bin,以免出现null/winutils
4.2 在Master节点上安装Hadoop;(1)解压缩hadoop-2.7.1.tar.gz安装包到/usr目录下 [root@master ~]# tar zxvf hadoop-2.7.1.tar.gz -C /usr/local/src/? (2)将hadoop-2.7.1文件夹重命名为hadoop [root@master ~]#...
详细的hadoop集群环境配置流程,安装截图。
eclipse hadoop2.7.1 plugin 配置,包括操作步骤说明,eclipse hadoop2.7.1的插件,还有hadoop.dll和winutils.exe等文件。
Windows 7 or 10 eclipse hadoop2.7.1 配置需要文件和工具
网上教程虽然多,但是有些教程比较老,许多教程忽略许多安装过程中的细节,比如添加用户的权限,文件权限,小编在安装过程遇到许多这样的问题所以想写一篇完整的教程,希望对初学Hadoop的人有一个直观的了解,我们...
Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.1/Ubuntu 16.04
该文档包含hadoop的安装部署,很详细介绍了安装步骤和注意事项,包含hadoop-0.20.2和hadoop-2.7.1两个版本的site文件配置
hadop2.7.1分布式安装配置hadop2.7.1分布式安装配置hadop2.7.1分布式安装配置hadop2.7.1分布式安装配置
hadoop2.7.1的hdfs、core、yarn、mapreduce默认配置,里面的配置描述通过谷歌翻译了的,有原英文和翻译的描述
描述了centOS6.5(虚拟机)环境下,hadoop2.7.1+hbase1.3.5版本的安装配置过程,以及个人在安装过程中遇到的问题与总结
apache-tez-0.9.1-bin.tar的安装包和安装配置.zip 1、关于版本: hive-1.2.1+tez-0.9.1+hadoop-2.7.7 hive-2.3.6+tez-0.9.1+hadoop-2.7.1 两种搭配均试过可行,之前配置的时候觉得与版本有很大关系,试过之后发现...
hive-1.2.1+tez-0.9.0+hadoop-2.7.7 hive-2.3.6+tez-0.9.0+hadoop-2.7.1 两种搭配均试过可行,之前配置的时候觉得与版本有很大关系,试过之后发现版本影响不大,还没发现有问题
如果想在windows上开发hadoop,首先需要编译的windows版hadoop,然后在配置环境变量,就可以使用,本版本是2.7.1
1.下载hadoop-2.7.1(其中已经替换了bin和etc) 2.配置JAVA_HOME 3.配置HADOOP_HOME (地址最好不要有空格,如果有的话,下面有解决办法) path添加%HADOOP_HOME%\bin(win10不用分号或者如下编辑界面不用分号,...
hadoop2.7.1_Snappy64 位编译完成后的软件与编译方法 编译 完成 软件下载地址: http://yunpan.cn/cL3jJa7XEMtHy 访问密码 66de 第 一 步 :编译前环境要求 第 二步:snappy 编译 第 三步:hadoop-snappy 编译 第 四...
因为配置大数据的基础环境特别费事,因此这里搭建好了一份基础环境
自己在虚拟机上搭建了一个master和三个slaves,亲测可用
网上找的,适合于原生Hadoop2,包括Hadoop 2.6.0, Hadoop 2.7.1 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利安装并运行Hadoop。