inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

15일간의 빅데이터 파일럿 프로젝트

CM cluster 설정 오류

350

장정훈

작성한 질문수 1

0

클라우데라 매니저 설정중 클러스터 설정에서 다음과 같은 오류가 발생했습니다.
다른 질문 글을 보고 putty에서 server01에 접속하여 safemode를 푸는 명령어를 해보았는데
connection error가 발생합니다.
어떻게 해결해야 할지 모르겠습니다..

Hadoop bigdata redis ZooKeeper Flume Kafka Impala 데이터 엔지니어링

답변 1

0

Big.D

안녕하세요! 빅디 입니다.

하둡의 네임노드가 포맷이 되지 않는 이유는 여러가지가 있는데요../dfs/nn 경로의 메타정보가 꼬이는 경우로 예상 됩니다.

우선 '장정훈'님의 상황은 아래 내용으로 조치해 보시기 바랍니다.

1. Putty로 Server01, 02에 접속해 /dfs/nn 디렉토리 삭제
$ rm -rf /dfs/nn

2. CM에서 YARN , HDFS 삭제후 > 재설치 

- 빅디 올림

0

장정훈

말씀해주신대로 Putty로 디렉토리 삭제후 CM에서 yarn과 hdfs 중지한후 삭제한뒤 hdfs부터 재설치를 하던중 다시 오류가 발생하였습니다.

tmp 디렉토리를 생성할수 없다고 합니다..

0

Big.D

네~ 지금 저 상태라면  하둡은 기동 된것으로 보입니다.

CM 홈에서 HDFS가 기동 되었는지 확인해봐 주시고, 안전모드 상태를 체크한뒤 세이프 모드라면 해제해 보시기 바랍니다. - 빅디 올림

* 상태확인

hdfs dfsadmin -safemode get

0

장정훈

말씀해 주신대로 세이프모드 체크 해보니 켜져있었습니다..

그래서 해제 명령어를 입력했는데 권한이 없다고 나옵니다..

세이프 모드 해제 방법이 궁금합니다. 또, 해제후에는 hdfs와 yarn을 순서대로 다시 설치해야하는 건가요?

0

Big.D

음...요건 HDFS의 "권한검사 해제"가 안된것 같은데요..

관련 내용은 "05. 빅데이터 클러스터 구성 03 - DataNode 추가 및 환경설정" 에서 다루고 있습니다. 

우선 아래 절차대로 조치뒤, safe 모드 해제 명령을 다시해 보시기 바랍니다. 

CM 홈> HDFS > 구성 에서 "HDFS 권한" 라는 키워드로 검색하고,

"HDFS 권한 검사" 체크박스를 해제 하고,  "상태 저장 > HDFS 재시작"

- 빅디 드림

주제영역3 데이타 조회 문의

0

54

2

환경 세팅 후 클라우데라매니저 삭제시

0

81

2

수강 기간 연장 부탁드립니다ㅠ

0

79

2

클라우데라 매니저 접속 불가 및 로그인 정보 문의

0

99

2

gcc 설치 에러

0

132

3

클러스터 설정 오류

0

106

2

클라우데라 클러스터 설치로 안넘어가짐

0

126

2

버추어박스 5.0 설치

0

154

2

워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.

0

92

2

Hue 500 Error 어떻게 해결할 수 있나요?

0

161

3

환경세팅 질문있습니다.

0

113

2

버쥬얼박스

0

83

2

호스트 불량 문제에 관하여

0

113

2

하이브쿼리에서 에러가 나요...

0

184

3

하이브쿼리에서 에러

0

128

1

Hbase에 적재된 데이터 확인시 에러

0

159

2

파이썬 설치 시 에러

0

170

2

redis-cli 데이터 적재 확인

0

144

2

카프카 토픽 생성에서 에러

0

145

2

HDFS 명령어를 치는데 오류가 납니다

0

138

2

가상환경 내보내기

0

113

1

SpoolDIR 폴더로 옮기

0

112

2

cpu usage 에러

0

114

2

쿼리 실행시 10000 에러

0

128

2