Cộng đồng Hỏi & Đáp của Inflearn
câu hỏi đã được viết
클러스터 설정 오류
Đã giải quyết
Viết
·
53
·
Đã chỉnh sửa
0
안녕하세요 선생님 클러스터 설정 시 오류가 발생하여 질문 드립니다. ㅜㅜ
다른 질문 글들을 참고하여
Cluster 1 삭제 후 재설치도 해보았고,
putty로 접속하여 rm -rf /dfs/nn 명령어로 디렉토리 삭제 후 cluster 재설치도 해보았는데
계속 오류가 발생합니다.
원인과 해결 방법이 있을지 문의 드립니다..
* stderr로그 일부
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /tmp. Name node is in safe mode.
The reported blocks 0 has reached the threshold 0.9990 of total blocks 0. The number of live datanodes 0 needs an additional 1 live datanodes to reach the minimum number 1.
Safe mode will be turned off automatically once the thresholds have been reached. NamenodeHostName:server01.hadoop.com
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.newSafemodeException(FSNamesystem.java:1448)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.checkNameNodeSafeMode(FSNamesystem.java:1435)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:3100)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:1123)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:696)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:523)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:991)
at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:869)
at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:815)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2675)
at org.apache.hadoop.ipc.Client.getRpcResponse(Client.java:1499)
at org.apache.hadoop.ipc.Client.call(Client.java:1445)
at org.apache.hadoop.ipc.Client.call(Client.java:1355)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:228)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:116)
at com.sun.proxy.$Proxy9.mkdirs(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.mkdirs(ClientNamenodeProtocolTranslatorPB.java:640)
at sun.reflect.GeneratedMethodAccessor8.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:422)
at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeMethod(RetryInvocationHandler.java:165)
at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invoke(RetryInvocationHandler.java:157)
at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeOnce(RetryInvocationHandler.java:95)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:359)
at com.sun.proxy.$Proxy10.mkdirs(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:2339)
... 18 moreCâu trả lời 2
1
안녕하세요! 현지원님!
메리 추석 입니다. ^^
아래 인프런 AI 인턴이 잘 답변을 한것 같은데요..
올려주신 스크린샷중 stderr 로그를 보면,
하둡의 네임노드가 Safe Mode 상태로 진입 한 것 같습니다.
아래 내용 참고해 보시고요.
간단히 말씀드리자면 Server01에 Putty로 접속 후, 아래 명령으로 Safe Mode를 해제 하시면 됩니다.
hdfs dfsadmin -safemode leave
-빅디 드림
0
안녕하세요, 인프런 AI 인턴입니다. 현지원님.
현재 발생하고 있는 오류는 Hadoop의 NameNode가 ‘Safe Mode’ 상태에 있어 디렉토리를 생성할 수 없다는 것입니다. Safe Mode는 HDFS가 시작될 때, 클러스터의 데이터 블록이 완전하게 복구될 때까지 읽기 전용 모드로 운영되는 상태를 말합니다. 이 상태에서는 데이터 수정을 포함한 여러 작업이 제한될 수 있습니다.
기본적으로 Safe Mode는 HDFS의 블록들이 충분히 복제되지 않았을 때 종료되지 않기 때문에, 블록 복제가 완료될 때까지 기다리거나 강제로 Safe Mode를 해제해야 합니다. 아래는 이를 해결하는 방법입니다:
NameNode를 강제로 Safe Mode에서 해제:
hdfs dfsadmin -safemode leave위 명령어를 실행함으로써 Safe Mode를 강제로 해제합니다.
블록 복제 확인:
Safe Mode가 자동으로 해제되지 않는다면, 블록 복제 상태를 확인하고 부족한 블록 복제를 수행해야 합니다.클러스터 확인 및 재구동:
구성 요소들이 올바르게 기동되었는지 확인하고, 데이터노드가 정상적으로 작동하고 있는지 확인해보세요.
이 문제와 관련하여 다른 사용자들이 클러스터 설치 시 자주 겪는 문제들과 그 해결책에 대한 토론이 이루어집니다. 유사한 경우를 참고하시기 바랍니다:
- “클러스터 설정 시 실패 오류”
- “HDFS, HBase 에러”
각 링크는 다른 사용자들이 비슷한 환경에서 겪었던 문제와 그 해결 방안을 다루고 있습니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
빠른 답변 감사합니다! 즐거운 추석 연휴 보내세요 😊