start-all.sh直接启动整个Hadoop集群服务 关闭则直接将上述指令中的start换成stop即可。在整个Hadoop集群服务启动完成后，可以在各自机器上通过jps指令查看各节点的服务进程启动情况。集群启动成功。
安装 Java 运行环境（JRE）或 Java 开发工具包（JDK）。Hadoop 是使用 Java 语言开发的，因此需要安装 Java 运行环境才能运行。配置 Java 环境变量。
安装步骤：之前已经上传过hadoop的压缩包了，所以这里直接进行解压。解压之后将其移动到之前的hadoop文件夹里面去。配置hadoop的环境变量，进入。
——使用docker拉取官方Ubuntu镜像，将单机安装好hadoop，然后做成image，再跑多个容器做集群。但有人建议不要把本地运行的容器转成镜像！——使用阿里hadoop镜像创建hadoop容器，分别创建三个节点master、slaveslave2。
labs.xiaonei./apache-mirror/hadoop/core/hadoop-0.1/hadoop-0.tar.gz ：labs.xiaonei./apache-mirror/hadoop/ 硬体环境 共有3台机器，均使用的CentOS，Java使用的是jdk0。
cd `echo $HADOOP_HOME` rm -rf ./tmp/ rm -rf ./logs123 再将配置好的master上的/usr/local/etc/hadoop文件夹复制到各个节点上(也就是覆盖原来的slave节点上安装的hadoop)。
1、如果是集群的话，我考虑需要流畅运行的话，2核4G配置是可以满足的。因为这个集群形式，用于适用于物联网、车联网、监控、安全风控、即时通讯、消息存储等行业场景，所以数据量是比较大的，所以配置太低了跑不动，会卡死的。
2、Hadoop是用Java开发的，Hadoop的编译及MapReduce的运行都需要使用JDK。 Hadoop需要通过SSH来启动salve列表中各台主机的守护进程，因此SSH也是必须安装的，即使是安装伪分布式版本(因为Hadoop并没有区分集群式和伪分布式)。
3、在阿里云官网租用一个服务器（学生服务有优惠：P），创建时公共镜像选择Ubuntu104，其他设置不变，创建好了以后需要安装各种相关软件才能搭建Hadoop的环境。可以使用PuTTY来远程管理我们的云服务器。
1、使用hortonworks的ambari来搭建 hadoop集群，这个占用的内存不算太多，也支持添加常用的组件同时运行，如zookeeper，hadoop，hive，hbase，flume等，ambari也是开源的，能满足大部分的初学者及一些为节约成本的企业需求。
2、Flume 是由Cloudera公司研发的一个高可用、高可靠、分布式的海量日志采集、聚合和传输系统，后于2009年捐赠给Apache软件基金会。Apache Flume 的使用不仅限于日志数据聚合。
3、在Hadoop 0之前，只有namenode一个节点，存在单点问题，namenode单点故障，难以应用与在线场景，也不利于生产上维护集群。namenode压力过大，且内存受损，影响系统延展性。
4、高可用性：通过配置多个nginx服务器，可以实现高可用性的部署。当其中一个nginx服务器出现故障时，其他的nginx服务器可以继续提供服务，保证系统的可用性。
5、Hadoop在x的版本引入了联邦HDFS(HDFS Federation)，通过在集群中添加namenode实现。
6、可以在HAProxy的配置文件中定义前端监听器，并将其绑定到一个虚拟IP地址上。
可以使用PuTTY来远程管理我们的云服务器。打开PuTTY后输入云服务器的公网IP，进入管理界面。
换了台机器，问题解决，hadoop-0.2-test.jar TestDFSIO 和 hadoop-0.2-examples.jar sort测试通过，期间又遇到了2个问题。
方法1：停掉集群，删除问题节点的data目录下的所有内容。即hdfs-site.xml文件中配置的dfs.data.dir目录。重新格式化namenode。
1、在这种环境下的合理选择是充分利用已经部署的10GbE设备和Hadoop集群中的 10GbE网卡。在日常的IT环境中构建一个简单的Hadoop集群。可以肯定的是，尽管有很多细节需要微调，但其基础是非常简单的。
2、Hadoop集群往往需要运行几十，几百或上千个节点，构建匹配其工作负载的硬件，可以为一个运营团队节省可观的成本，因此，需要精心的策划和慎重的选择。
3、start-all.sh直接启动整个Hadoop集群服务 关闭则直接将上述指令中的start换成stop即可。在整个Hadoop集群服务启动完成后，可以在各自机器上通过jps指令查看各节点的服务进程启动情况。集群启动成功。
4、(5)Zookeeper在Hadoop架构中负责应用程序的协调工作，以保持Hadoop集群内的同步工作。 (6)Thrift是一个软件框架，用来进行可扩展且跨语言的服务的开发，最初由Facebook开发，是构建在各种编程语言间无缝结合的、高效的服务。
5、先决条件 确保在你集群中的每个节点上都安装了所有必需软件。获取Hadoop软件包。安装 安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。