클러스터 설정 오류

15일간의 빅데이터 파일럿 프로젝트

5.빅데이터 클러스터 구성 2 - 기본SW(하둡, 주키퍼 등) 설치

작성

수정됨

안녕하세요 선생님 클러스터 설정 시 오류가 발생하여 질문 드립니다. ㅜㅜ

다른 질문 글들을 참고하여

Cluster 1 삭제 후 재설치도 해보았고,

putty로 접속하여 rm -rf /dfs/nn 명령어로 디렉토리 삭제 후 cluster 재설치도 해보았는데

계속 오류가 발생합니다.

원인과 해결 방법이 있을지 문의 드립니다..

* stderr로그 일부

Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp. Name node is in safe mode.
The reported blocks 0 has reached the threshold 0.9990 of total blocks 0. The number of live datanodes 0 needs an additional 1 live datanodes to reach the minimum number 1.
Safe mode will be turned off automatically once the thresholds have been reached. NamenodeHostName:server01.hadoop.com
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.newSafemodeException(FSNamesystem.java:1448)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode(FSNamesystem.java:1435)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:3100)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:1123)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:696)
	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:523)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:991)
	at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:869)
	at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:815)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2675)

	at org.apache.hadoop.ipc.Client.getRpcResponse(Client.java:1499)
	at org.apache.hadoop.ipc.Client.call(Client.java:1445)
	at org.apache.hadoop.ipc.Client.call(Client.java:1355)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:228)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:116)
	at com.sun.proxy.$Proxy9.mkdirs(Unknown Source)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.mkdirs(ClientNamenodeProtocolTranslatorPB.java:640)
	at sun.reflect.GeneratedMethodAccessor8.invoke(Unknown Source)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:422)
	at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeMethod(RetryInvocationHandler.java:165)
	at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invoke(RetryInvocationHandler.java:157)
	at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeOnce(RetryInvocationHandler.java:95)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:359)
	at com.sun.proxy.$Proxy10.mkdirs(Unknown Source)
	at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:2339)
	... 18 more

빅데이터 hadoop kafka zookeeper redis flume impala 데이터-엔지니어링 카카오공채-개발

답변 2

Big.D

지식공유자

안녕하세요! 현지원님!

메리 추석 입니다. ^^

아래 인프런 AI 인턴이 잘 답변을 한것 같은데요..

올려주신 스크린샷중 stderr 로그를 보면,

하둡의 네임노드가 Safe Mode 상태로 진입 한 것 같습니다.

아래 내용 참고해 보시고요.

간단히 말씀드리자면 Server01에 Putty로 접속 후, 아래 명령으로 Safe Mode를 해제 하시면 됩니다.

hdfs dfsadmin -safemode leave

-빅디 드림

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. 현지원님.

현재 발생하고 있는 오류는 Hadoop의 NameNode가 ‘Safe Mode’ 상태에 있어 디렉토리를 생성할 수 없다는 것입니다. Safe Mode는 HDFS가 시작될 때, 클러스터의 데이터 블록이 완전하게 복구될 때까지 읽기 전용 모드로 운영되는 상태를 말합니다. 이 상태에서는 데이터 수정을 포함한 여러 작업이 제한될 수 있습니다.

기본적으로 Safe Mode는 HDFS의 블록들이 충분히 복제되지 않았을 때 종료되지 않기 때문에, 블록 복제가 완료될 때까지 기다리거나 강제로 Safe Mode를 해제해야 합니다. 아래는 이를 해결하는 방법입니다:

NameNode를 강제로 Safe Mode에서 해제:
```
hdfs dfsadmin -safemode leave
```
위 명령어를 실행함으로써 Safe Mode를 강제로 해제합니다.
블록 복제 확인:
Safe Mode가 자동으로 해제되지 않는다면, 블록 복제 상태를 확인하고 부족한 블록 복제를 수행해야 합니다.
클러스터 확인 및 재구동:
구성 요소들이 올바르게 기동되었는지 확인하고, 데이터노드가 정상적으로 작동하고 있는지 확인해보세요.

이 문제와 관련하여 다른 사용자들이 클러스터 설치 시 자주 겪는 문제들과 그 해결책에 대한 토론이 이루어집니다. 유사한 경우를 참고하시기 바랍니다:
- “클러스터 설정 시 실패 오류”
- “HDFS, HBase 에러”

각 링크는 다른 사용자들이 비슷한 환경에서 겪었던 문제와 그 해결 방안을 다루고 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

인프런 커뮤니티 질문&답변

클러스터 설정 오류