`

【hadoop 1.0】分布式安装总结

 
阅读更多

hadoop版本:0.20.2-cdh3u6

 

OS系统:linux CentOS 64-bit

 

安装教程:http://mrlee23.iteye.com/blog/2009776

参考教程:http://ljh0721.iteye.com/blog/2007862

 

问题:java.io.IOException: NameNode is not formatted.

问题现象:namenode、datanode启动失败,SecondaryNameNode启动成功。

问题解决方法:http://mrlee23.iteye.com/blog/2009777
注:不需要手动创建name、data、tmp的目录,直接运行命令:hadoop namenode -format,会自动创建name目录,其他目录hadoop会在用到的时候自己创建。

 

 

总结:

1、其实设置不设置host都一样,用ip也是可以的。

2、需要设置ssh免密码登录 ,否则密码登录启动hadoop不成功(我搞了N久是没搞明白如何用密码登录,然后启动hadoop,毕竟感觉有密码还是安全的,如果有人试过成功的话,请指教在下一二,谢谢了)

3、所有的设置一定要用su(root)来搞。(总忘记切换权限,走了好多弯路)。

 

2
1
分享到:
评论

相关推荐

    Hadoop1.0伪分布式安装步骤

    开源思想,少要积分,仅供学习。 Hadoop1.0伪分布式安装步骤。 开源思想,少要积分,仅供学习。 Hadoop1.0伪分布式安装步骤。

    Nutch-1.0分布式安装手册.rar

    Nutch-1.0分布式安装手册.rar,完整的

    云计算 hadoop1.0 源代码

    Hadoop是前雅虎开发者Doug Cutting开发的分布式计算平台,名字源于玩具象,至今已被数千家公司用于分析大容量数据。Hadoop 1.0.0主要是修正了bug,改进了性能和兼容性。它的上一个版本是0.20.205.0,新版的版本号原...

    Hadoop2.0分布式HA环境部署

    Hadoop2.0分布式HA环境部署,原理介绍,对比hadoop1.0优化点,支持HA机制,介绍了zookeeper安装,

    lucene + hadoop 分布式搜索运行框架 Nut 1.0a8

    NULL 博文链接:https://catastiger.iteye.com/blog/811985

    Hadoop-1.1.2上路 v1.0

    基于hadoop-1.1.2的伪分布式集群、分布式集群搭建。使用javaapi操作hdfs、hdfs内部操作命令、从win7访问ubuntu中的hadoop集群。 eclipse hadoop java 分布式 云计算 Hadoop-1.1.2上路 v1.0

    hadoop口述知识点,新手必备

    *****1.如何实现wordcount ***2.hadoop1.0和hadoop2.0的区别 ***3.搭建hadoop伪分布式/完全分布式集群的步骤

    细解Hadoop

    Hadoop 分布式文件系统 在Hadoop1.0中,由于MapReduce模块的主服务(Jobtracker)任务太多,当集群中MR任务非常多时,会造成大量内存开销,甚至是主服务失败,一开始还可以通过修修补补解决问题,但由于架构上的缺陷...

    Hadoop 0.20.2 版本安装包

    伪分布式安装包,Hadoop 1.0指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop,内核主要由HDFS和MapReduce两个系统组成,其中,MapReduce是一个离线处理框架,由编程模型(新旧API)、运行时环境和数据...

    hadoop-2.4.1安装软件包以及教程jdk.zip

    1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网络和共享中心...

    大数据平台简介.pptx

    Hadoop生态系统 Ambari (安装部署工具) Zookeeper (分布式协调服务) HBase (分布式协数据库) Oozie (作业流调度系统) HDFS (分布式存储系统) YARN (分布式计算框架) MapReduce (离线计算) Tez (DAG...

    大数据分析技术基础教学课件3-大数据处理平台Hadoop.pptx

    Apache Hadoop 版本演变 Apache Hadoop版本分为两代,我们将第一代Hadoop称为Hadoop 1.0,第二代Hadoop称为Hadoop 2.0 第一代Hadoop包含三个大版本,分别是0.20.x,0.21.x和0.22.x,其中,0.20.x最后演化成1.0.x,...

    Hadoop概述及CentOS安装和使用

    Hadoop–入门Hadoop概述及CentOS安装和使用一. Hadoop概述1.HDFS2.MapReduce二.准备工作1.安装虚拟机软件 Vmware Workstation Pro2.安装Linux操作系统(CentOS7.4)下载CentOS镜像文件安装CentOSCentOS配置 Hadoop...

    Apress - Pro Hadoop

    目前Hadoop受到Yahoo的支持,有Yahoo员工长期工作在项目上,而且Yahoo内部也准备使用Hadoop代替原来的的分布式系统。  Hadoop实现了HDFS文件系统和MapRecue。用户只要继承MapReduceBase,提供分别实现Map和Reduce...

    分布式数据库HBase安装配置与实践.doc

    1.2 将解压的文件名hbase-1.0.1.1改为hbase,以方便使用 1.3 配置环境变量 1.4添加HBase权限 1.5查看HBase版本,确定hbase安装成功 2. HBase配置 2.1伪分布式模式配置 接下来测试运行HBase。 1.3.2编程实践 ...

    kafka_2.11-0.10.1.0.tgz

    kafka_2.11-0.10.1.0.tgzKafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素...

    HDP-GPL-3.0.1.0-centos7-gpl.tar.gz 用于部署HDP大数据平台,处理和分析各种类型的数据

    它提供了一套完整的工具和组件,包括Hadoop分布式文件系统(HDFS)、YARN资源管理器、MapReduce计算框架、Hive数据仓库、HBase分布式数据库等。HDP还支持其他开源工具和技术,如Apache Spark、Apache Kafka、Apache ...

    Hadoop权威指南(第2版).

    而进行海量计算需要一个稳定的,安全的数据容器,才有了Hadoop分布式文件系统(HDFS,Hadoop Distributed File System)。 HDFS通信部分使用org.apache.hadoop.ipc,可以很快使用RPC.Server.start()构造一个节点,...

    【推荐】最强大数据学习与最佳实践资料合集(基础+架构+数仓+治理+案例)(100份).zip

    Hadoop安装及分布式部署 Hadoop精选面试题和MapReduce编程企业级编程实践 HDFS-part2-原理详解 HDFS核心内容及命令-2020 hive安装 hive语法和常用函数 Kafka安装 kylin安装 mapreduce调优指南 sqoop安装 二、架构篇...

    Hbase_v1.0.1.1API (CHM 格式)

    就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非...

Global site tag (gtag.js) - Google Analytics