인프런 커뮤니티 질문&답변

Eric Ryu님의 프로필 이미지
Eric Ryu

작성한 질문수

15일간의 빅데이터 파일럿 프로젝트

5.빅데이터 클러스터 구성 2 - 기본SW(하둡, 주키퍼 등) 설치

클러스터 설치중 오류

작성

·

722

0

안녕하세요! 선생님 열심히 수강중입니다. 수강중에 이런 문제가 생겨서 질문 드려요! 구글에 검색도 해보았지만 답이 나오질 않아 여쭤봅니다! ㅠㅠ 도와주세요 고성능 말고 저성능버전으로 진행중입니다!

답변 8

0

HDPCluster 1을 에러에 대비해 cluster7로 바꾸었는데, Namenode 디렉토리 포맷하는 곳에 이번에는 

$> 
hdfs/hdfs.sh ["format-namenode","cluster10"]

이런식으로 나옵니다.

에러로그는 아래와 같습니다.
Mon May 16 11:18:27 KST 2022
JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
using /usr/java/jdk1.8.0_181-cloudera as JAVA_HOME
using 6 as CDH_VERSION
using /var/run/cloudera-scm-agent/process/8-hdfs-NAMENODE-format as CONF_DIR
using  as SECURE_USER
using  as SECURE_GROUP
CONF_DIR=/var/run/cloudera-scm-agent/process/8-hdfs-NAMENODE-format
CMF_CONF_DIR=
unlimited
Formatting using clusterid: cluster10

아예 이 단계를 넘어간 VirtualBox 이미지를 공유해주시면 좋겠습니다.


Big.D님의 프로필 이미지
Big.D
지식공유자

네~ 모든 단계의 VM 이미지를 제공 드리고 싶지만...다음과 같은 이유가 있어 제공이 어렵습니다. ^^;;

일단 초기 VM 이미지 크기(30GB 수준)가 커서...지식공유자인 본인도 대용량 파일에 대한 권한이 없어서 인프런 관리자에게 별도로 요청을 합니다.

두번째론 파일럿 프로젝트를 계속 진행 할 때마다, 이러한 트러블슈팅들이 매우 빈번하게 발생 합니다. 이때 이러한 문제들을 하나씩 해결해 가는 경험과 방법을 배우는것이 본 강의의 취지이기도 합니다.

다소 시간이 걸리고 불편하더라도 문제를 하나씩 해결해 가는것을 추천드립니다~

우선 위 댓글대로 초치후 결과 부탁드립니다.  - 빅디 드림

0

안녕하세요, 저도 똑 같은 에러가 발생합니다. MacOS VirtualBox에서 수행 중입니다.

$>hdfs/hdfs.sh ["format-namenode","cluster7"]

앞쪽에서 Cluster 이름도 구별하기 위해 "HDPCluster1"로 지정했는데 여기서는 윗분의 에러와 같이 "cluster7"로 나옵니다.

Big.D님의 프로필 이미지
Big.D
지식공유자

안녕하세요! 빅디 입니다.

하둡의 네임노드가 포맷이 되지 않는 이유는 대부분.../dfs/nn 경로의 메타정보가 꼬이는 경우입니다. 

혹시 아래 내용으로 /dfs/nn 디렉토리를 삭제해 보셨는지요?!!!

 

1. Putty로 Server01, 02에 접속해 /dfs/nn 디렉토리 삭제
$ rm -rf /dfs/nn

2. CM에서 YARN , HDFS 삭제후 > 재설치 

- 빅디 드림

0

Eric Ryu님의 프로필 이미지
Eric Ryu
질문자

Eric Ryu님의 프로필 이미지
Eric Ryu
질문자

말씀해주신 대로 했더니 command가 없다고 나옵니다 ㅠㅠ

Big.D님의 프로필 이미지
Big.D
지식공유자

네~ 이번에도 오타가 있는데요...^^

$ rm -rf /dfs/nn

위에서 $ 를 빼주세요~

참고로 제일 앞에 있는 '$' or '#' 등은 리눅스 명령을 위한 프롬프트 표기를 의미 합니다.

- 빅디 드림

Eric Ryu님의 프로필 이미지
Eric Ryu
질문자

이렇게 그냥 아무것도 안나오고 넘어가지는 현상이 되는데 원래 이렇게 되는건가요? 삭제되었다는 아웃풋이 아무것도 없어서요..

Eric Ryu님의 프로필 이미지
Eric Ryu
질문자

선생님 설치 해보았더니 잘 설치가 됩니다! 감사합니다!!

Big.D님의 프로필 이미지
Big.D
지식공유자

네~ Eric Ryu님!

해결 되어서 다행입니다~ 

이제 진도 팍팍! 나가시죠!!!!!!!!   ^^

- 빅디 드림

0

Eric Ryu님의 프로필 이미지
Eric Ryu
질문자

Eric Ryu님의 프로필 이미지
Eric Ryu
질문자

이렇게 결과가 나옵니다 ㅠㅠ

Big.D님의 프로필 이미지
Big.D
지식공유자

네~ 띄어쓰기 오타가 있어 보이는데요..

아래처럼 -rf 다음에 공백이 들어갔는지 확인부탁드립니다.

$ rm -rf  /dfs/nn

- 빅디 드림

0

Eric Ryu님의 프로필 이미지
Eric Ryu
질문자

선생님, 안녕하세요. 

Putty 로 디렉토리 삭제를 시도했는데, /dfs/nn 파일이나 디렉토리가 없다고 나옵니다 ㅠ 제대로 설치조차 되지 않았던 상태 같은데 이럴땐 어떻게 해야하나요? 혹시나 싶어 다시 설치해보았지만 같은 namenode 포맷 오류가 동일하게 뜹니다..!

Big.D님의 프로필 이미지
Big.D
지식공유자

네~ Eric Ryu님!

 /dfs/nn 파일 삭제명령과 없다고 나온다는 결과까지 포함해서 스크린샷좀 올려주세요~

- 빅디 드림

0

Eric Ryu님의 프로필 이미지
Eric Ryu
질문자

이것도 도움이 될까 싶어 같이 올리겠습니다!

Big.D님의 프로필 이미지
Big.D
지식공유자

안녕하세요! 빅디 입니다.

cluster의 이름이 "7"까지 올라간 것으로 봤을때, 실습중 cluster 생성/삭제를 여러차례 진행 하셨던 것 같고요... 이때 HDFS의 네임노드 메타정보가 꼬여서 네임노드 포맷이 않되는 현상인것 같습니다. TT

우선 아래 명령으로 조치후 테스트 해봐 주세요~

/dfs/nn 경로를 모두 삭제하고 하둡 및 얀을 아래순으로 진행 부탁드립니다.

1. Putty로 Server01, 02에 접속해 /dfs/nn 디렉토리 삭제
$ rm -rf /dfs/nn

2. CM 홈에서 Cluster 7의 YARN , HDFS 삭제

3. CM 홈에서 Cluster 7의 서비스 추가 > YARN , HDFS 설치

4. CM 홈에서 Cluster 7 재기동

- 빅디 드림

0

Eric Ryu님의 프로필 이미지
Eric Ryu
질문자

 

넵 이렇게 나오더라구요 ... 혹시 무슨 문제가 있는지 봐주실 수 있을까요?

0

Big.D님의 프로필 이미지
Big.D
지식공유자

안녕하세요! Eric Ryu님!

좀더  상세한 내용이 필요해 보이는 데요...

아래 상황의 그림에서 세부 내용 챕쳐 부탁드립니다.  - 빅디 드림

 

Eric Ryu님의 프로필 이미지
Eric Ryu

작성한 질문수

질문하기