Hadoop常见问题解答(云服务器搭hadoop不稳定)

Hadoop常见问题解答

问题 分块存放在datanode上 问题inputformat是在datanode上，确切的说是在tasktracker中。

Hadoop集群搭建之SSH无密码登录配置错误解析

在运行命令：ssh localhost 在注销登陆：至此单机回环ssh免密码登录测试就可以成功了。

注意，还有可能是禁用了root登录出现这种情况。当切换到普通用户—Hadoop之后就又能登录了。即使在/etc/ssh/sshd_config 中配置了PermitRootLogin 为yes，还是不能用slave1的root用户直接无密码连接到slave2上。

通过使用SSH，你可以把所有传输的数据进行加密，这样中间人这种攻击方式就不可能实现了，而且也能够防止DNS欺骗和IP欺骗。使用SSH，还有一个额外的好处就是传输的数据是经过压缩的，所以可以加快传输的速度。

cygwin在Windows1中设置ssh的问题解决 为了在Windows 1上直接使用Linux环境和hadoop开发，装了cygwin，同时设置ssh无密码登录。

- ~/.ssh/authorized_keys，并输入master.hadoop主机的hadoop用户的登录密码，即可将公钥发送到master.hadoop并追加到其authorized_keys文件中。如上图，已经可以在slave.hadoop主机使用ssh无密码登录主机master.hadoop了。

...版本不一致配置Hadoop集群出现问题怎么解决?

1、可以使用PuTTY来远程管理我们的云服务器。打开PuTTY后输入云服务器的公网IP，进入管理界面。

2、换了台机器，问题解决，hadoop-0.2-test.jar TestDFSIO 和 hadoop-0.2-examples.jar sort测试通过，期间又遇到了2个问题。

3、方法1：停掉集群，删除问题节点的data目录下的所有内容。即hdfs-site.xml文件中配置的dfs.data.dir目录。重新格式化namenode。

4、在分布式模式下，Hadoop版本必须和HBase下的版本一致。你可以用你运行的分布式Hadoop版本jar文件替换HBase lib目录下的Hadoop jar文件，以避免版本不匹配问题。确认替换了集群中所有HBase下的jar文件。

5、这些依赖可能本身在spark或者Hadoop客户端的jar包中就已经存在。当用户程序依赖的jar包版本和集群上spark/hadoop客户端依赖的jar包版本不一致时，可能会出现编译失败，或者执行过程中加载类失败的问题。

6、该文件记录Hadoop集群所有从节点（HDFSde DataNode和YARN的NodeManager所在主机）的主机名，用来配合一键启动脚本启动集群从节点（保证关联节点配置了SSH免密登录）。