-
질문 & 답변
카테고리
-
세부 분야
데이터 엔지니어링
-
해결 여부
미해결
클러스터 설치중 오류
22.03.31 23:32 작성 조회수 506
0
안녕하세요! 선생님 열심히 수강중입니다. 수강중에 이런 문제가 생겨서 질문 드려요! 구글에 검색도 해보았지만 답이 나오질 않아 여쭤봅니다! ㅠㅠ 도와주세요 고성능 말고 저성능버전으로 진행중입니다!
답변을 작성해보세요.
0
Moon-Kee Bahk
2022.05.16
HDPCluster 1을 에러에 대비해 cluster7로 바꾸었는데, Namenode 디렉토리 포맷하는 곳에 이번에는
$>
hdfs/hdfs.sh ["format-namenode","cluster10"]
이런식으로 나옵니다.
에러로그는 아래와 같습니다.
Mon May 16 11:18:27 KST 2022 JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera using /usr/java/jdk1.8.0_181-cloudera as JAVA_HOME using 6 as CDH_VERSION using /var/run/cloudera-scm-agent/process/8-hdfs-NAMENODE-format as CONF_DIR using as SECURE_USER using as SECURE_GROUP CONF_DIR=/var/run/cloudera-scm-agent/process/8-hdfs-NAMENODE-format CMF_CONF_DIR= unlimited Formatting using clusterid: cluster10
아예 이 단계를 넘어간 VirtualBox 이미지를 공유해주시면 좋겠습니다.
Big.D
지식공유자2022.05.16
네~ 모든 단계의 VM 이미지를 제공 드리고 싶지만...다음과 같은 이유가 있어 제공이 어렵습니다. ^^;;
일단 초기 VM 이미지 크기(30GB 수준)가 커서...지식공유자인 본인도 대용량 파일에 대한 권한이 없어서 인프런 관리자에게 별도로 요청을 합니다.
두번째론 파일럿 프로젝트를 계속 진행 할 때마다, 이러한 트러블슈팅들이 매우 빈번하게 발생 합니다. 이때 이러한 문제들을 하나씩 해결해 가는 경험과 방법을 배우는것이 본 강의의 취지이기도 합니다.
다소 시간이 걸리고 불편하더라도 문제를 하나씩 해결해 가는것을 추천드립니다~
우선 위 댓글대로 초치후 결과 부탁드립니다. - 빅디 드림
0
Moon-Kee Bahk
2022.05.16
안녕하세요, 저도 똑 같은 에러가 발생합니다. MacOS VirtualBox에서 수행 중입니다.
$>hdfs/hdfs.sh ["format-namenode","cluster7"]
앞쪽에서 Cluster 이름도 구별하기 위해 "HDPCluster1"로 지정했는데 여기서는 윗분의 에러와 같이 "cluster7"로 나옵니다.
Big.D
지식공유자2022.05.16
안녕하세요! 빅디 입니다.
하둡의 네임노드가 포맷이 되지 않는 이유는 대부분.../dfs/nn 경로의 메타정보가 꼬이는 경우입니다.
혹시 아래 내용으로 /dfs/nn 디렉토리를 삭제해 보셨는지요?!!!
1. Putty로 Server01, 02에 접속해 /dfs/nn 디렉토리 삭제
$ rm -rf /dfs/nn
2. CM에서 YARN , HDFS 삭제후 > 재설치
- 빅디 드림
0
Big.D
지식공유자2022.05.14
네~ 이번에도 오타가 있는데요...^^
$ rm -rf /dfs/nn
위에서 $ 를 빼주세요~
참고로 제일 앞에 있는 '$' or '#' 등은 리눅스 명령을 위한 프롬프트 표기를 의미 합니다.
- 빅디 드림
0
Big.D
지식공유자2022.05.13
네~ 띄어쓰기 오타가 있어 보이는데요..
아래처럼 -rf 다음에 공백이 들어갔는지 확인부탁드립니다.
$ rm -rf /dfs/nn
- 빅디 드림
0
Eric Ryu
질문자2022.05.11
선생님, 안녕하세요.
Putty 로 디렉토리 삭제를 시도했는데, /dfs/nn 파일이나 디렉토리가 없다고 나옵니다 ㅠ 제대로 설치조차 되지 않았던 상태 같은데 이럴땐 어떻게 해야하나요? 혹시나 싶어 다시 설치해보았지만 같은 namenode 포맷 오류가 동일하게 뜹니다..!
0
이것도 도움이 될까 싶어 같이 올리겠습니다!
Big.D
지식공유자2022.04.13
안녕하세요! 빅디 입니다.
cluster의 이름이 "7"까지 올라간 것으로 봤을때, 실습중 cluster 생성/삭제를 여러차례 진행 하셨던 것 같고요... 이때 HDFS의 네임노드 메타정보가 꼬여서 네임노드 포맷이 않되는 현상인것 같습니다. TT
우선 아래 명령으로 조치후 테스트 해봐 주세요~
/dfs/nn 경로를 모두 삭제하고 하둡 및 얀을 아래순으로 진행 부탁드립니다.
1. Putty로 Server01, 02에 접속해 /dfs/nn 디렉토리 삭제
$ rm -rf /dfs/nn
2. CM 홈에서 Cluster 7의 YARN , HDFS 삭제
3. CM 홈에서 Cluster 7의 서비스 추가 > YARN , HDFS 설치
4. CM 홈에서 Cluster 7 재기동
- 빅디 드림
0
0
Big.D
지식공유자2022.04.01
안녕하세요! Eric Ryu님!
좀더 상세한 내용이 필요해 보이는 데요...
아래 상황의 그림에서 세부 내용 챕쳐 부탁드립니다. - 빅디 드림
답변 8