Linux和Hadoop的学习
1. Linux的常用快捷键
复制:Ctrl+shift+C
粘贴:Ctrl+shift+V
TAB:补全命令
编写输入:i
退出编写:esc
保存并退出:shift+:
2. Hadoop集群部署问题汇总
1.常见出错点:
- 权限未正确设置
- 配置文件错误
- 未格式化
2.解决问题思路:看日志log
步骤1:
cd /export/server/hadoop/logs/
步骤2:(也可以查看secondarynamenode的日志,视情况而定)
tail -100 hadoop-hadoop-namenode-node1.log
3.错误举例
问题1:Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password)
这是免密互通没有设置成功,可以通过ssh [节点]
来查看是具体哪个节点没有设置成功,然后就对应的节点的免密通信进行重新设置。
第一步:切换到需要设置免密通信的用户
su - [用户]
第二步:生成公钥私钥
ssh-keygen -t rsa -b 4096
第三步:将SSH公钥信息复制给对应服务器
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3