클러스터 설치중 오류
985
1 câu hỏi đã được viết
안녕하세요! 선생님 열심히 수강중입니다. 수강중에 이런 문제가 생겨서 질문 드려요! 구글에 검색도 해보았지만 답이 나오질 않아 여쭤봅니다! ㅠㅠ 도와주세요 고성능 말고 저성능버전으로 진행중입니다!Câu trả lời 8
0
HDPCluster 1을 에러에 대비해 cluster7로 바꾸었는데, Namenode 디렉토리 포맷하는 곳에 이번에는
$>
hdfs/hdfs.sh ["format-namenode","cluster10"]
이런식으로 나옵니다.
에러로그는 아래와 같습니다.
Mon May 16 11:18:27 KST 2022 JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera using /usr/java/jdk1.8.0_181-cloudera as JAVA_HOME using 6 as CDH_VERSION using /var/run/cloudera-scm-agent/process/8-hdfs-NAMENODE-format as CONF_DIR using as SECURE_USER using as SECURE_GROUP CONF_DIR=/var/run/cloudera-scm-agent/process/8-hdfs-NAMENODE-format CMF_CONF_DIR= unlimited Formatting using clusterid: cluster10
아예 이 단계를 넘어간 VirtualBox 이미지를 공유해주시면 좋겠습니다.
0
네~ 모든 단계의 VM 이미지를 제공 드리고 싶지만...다음과 같은 이유가 있어 제공이 어렵습니다. ^^;;
일단 초기 VM 이미지 크기(30GB 수준)가 커서...지식공유자인 본인도 대용량 파일에 대한 권한이 없어서 인프런 관리자에게 별도로 요청을 합니다.
두번째론 파일럿 프로젝트를 계속 진행 할 때마다, 이러한 트러블슈팅들이 매우 빈번하게 발생 합니다. 이때 이러한 문제들을 하나씩 해결해 가는 경험과 방법을 배우는것이 본 강의의 취지이기도 합니다.
다소 시간이 걸리고 불편하더라도 문제를 하나씩 해결해 가는것을 추천드립니다~
우선 위 댓글대로 초치후 결과 부탁드립니다. - 빅디 드림
0
안녕하세요, 저도 똑 같은 에러가 발생합니다. MacOS VirtualBox에서 수행 중입니다.
$>hdfs/hdfs.sh ["format-namenode","cluster7"]
앞쪽에서 Cluster 이름도 구별하기 위해 "HDPCluster1"로 지정했는데 여기서는 윗분의 에러와 같이 "cluster7"로 나옵니다.
0
안녕하세요! 빅디 입니다.
하둡의 네임노드가 포맷이 되지 않는 이유는 대부분.../dfs/nn 경로의 메타정보가 꼬이는 경우입니다.
혹시 아래 내용으로 /dfs/nn 디렉토리를 삭제해 보셨는지요?!!!
1. Putty로 Server01, 02에 접속해 /dfs/nn 디렉토리 삭제
$ rm -rf /dfs/nn
2. CM에서 YARN , HDFS 삭제후 > 재설치
- 빅디 드림
0
1
네~ 이번에도 오타가 있는데요...^^
$ rm -rf /dfs/nn
위에서 $ 를 빼주세요~
참고로 제일 앞에 있는 '$' or '#' 등은 리눅스 명령을 위한 프롬프트 표기를 의미 합니다.
- 빅디 드림
0
0
선생님, 안녕하세요.
Putty 로 디렉토리 삭제를 시도했는데, /dfs/nn 파일이나 디렉토리가 없다고 나옵니다 ㅠ 제대로 설치조차 되지 않았던 상태 같은데 이럴땐 어떻게 해야하나요? 혹시나 싶어 다시 설치해보았지만 같은 namenode 포맷 오류가 동일하게 뜹니다..!
0
이것도 도움이 될까 싶어 같이 올리겠습니다!
0
안녕하세요! 빅디 입니다.
cluster의 이름이 "7"까지 올라간 것으로 봤을때, 실습중 cluster 생성/삭제를 여러차례 진행 하셨던 것 같고요... 이때 HDFS의 네임노드 메타정보가 꼬여서 네임노드 포맷이 않되는 현상인것 같습니다. TT
우선 아래 명령으로 조치후 테스트 해봐 주세요~
/dfs/nn 경로를 모두 삭제하고 하둡 및 얀을 아래순으로 진행 부탁드립니다.
1. Putty로 Server01, 02에 접속해 /dfs/nn 디렉토리 삭제
$ rm -rf /dfs/nn
2. CM 홈에서 Cluster 7의 YARN , HDFS 삭제
3. CM 홈에서 Cluster 7의 서비스 추가 > YARN , HDFS 설치
4. CM 홈에서 Cluster 7 재기동
- 빅디 드림
주제영역3 데이타 조회 문의
0
32
2
환경 세팅 후 클라우데라매니저 삭제시
0
60
2
수강 기간 연장 부탁드립니다ㅠ
0
56
2
클라우데라 매니저 접속 불가 및 로그인 정보 문의
0
81
2
gcc 설치 에러
0
113
3
클러스터 설정 오류
0
83
2
클라우데라 클러스터 설치로 안넘어가짐
0
116
2
버추어박스 5.0 설치
0
138
2
워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.
0
76
2
Hue 500 Error 어떻게 해결할 수 있나요?
0
145
3
환경세팅 질문있습니다.
0
102
2
버쥬얼박스
0
71
2
호스트 불량 문제에 관하여
0
104
2
하이브쿼리에서 에러가 나요...
0
164
3
하이브쿼리에서 에러
0
116
1
Hbase에 적재된 데이터 확인시 에러
0
145
2
파이썬 설치 시 에러
0
155
2
redis-cli 데이터 적재 확인
0
138
2
카프카 토픽 생성에서 에러
0
135
2
HDFS 명령어를 치는데 오류가 납니다
0
131
2
가상환경 내보내기
0
106
1
SpoolDIR 폴더로 옮기
0
99
2
cpu usage 에러
0
111
2
쿼리 실행시 10000 에러
0
119
2