• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 엔지니어링

  • 해결 여부

    미해결

클러스터 설정 실패

21.07.29 17:36 작성 조회수 119

0

선생님 안녕하세요?

제가 사정이 있어 저사양 노트북에서 처음부터 다시 시작하고 있습니다.

SW설치, 설정하고 클라우데라 매니저에서 아래와 같이 문제가 나와 질문드립니다.

이런 증상은 어떻게 해결하여야 되는지요? 

답변 3

·

답변을 작성해보세요.

0

선생님 안녕하세요?

오늘은 HBase 적재 데이터 확인에서 HBase 화면에서 Region 정보가 나오지 않습니다.

아래 화면처럼 Region 정보 확인하는 부분이 나오지 않아 실습을 중지했습니다.

저사양 pc에서 나오는 문제일까요? 제가 실수한 부분이 있을까요? 

아~네! 신의비상님!

요건 제가 숙제를 드려 보겠습니다. ㅎㅎ

사실 지금 문의 주신 내용만으로 원인 파악 및 해결이 어렵기도 하고요..^^;;

HBase의 Region 정보가 생성이 안되 있는건, Region 생성 단계에서 문제가 있었거나..

아니면 Region 생성 단계를 빼먹었거나..

위 둘중 하나일 겁니다. 앞단계에서 Hbase의 Region 생상 되는 단계를 확인해 보세요~

- 빅디 올림

선생님 안녕하세요? 무엇이 문제인지는 모르나 과정을 다시 진행하여

Region 생성이 잘 되었습니다.  하나 궁금한 내용이 있어서요 아래 캡처 화면처럼

Read Request Count와 Riltered Read Request Count에 표기 되는 숫자가 '0' 이 맞는지요? 

네! 문제없습니다. 

추가로 해당 결과가 hbase 테이블에서 잘조회 되면 됩니다.

-빅디 드림

0

선생님 안녕하세요?

저사양 PC에서 처음부터 다시 시작하고 위의 내용으로 질문 드렸습니다.

어제 설치가 잘 진행되어 CM 설정까지 완료했습니다. Cloudera Management Service는 중지하여

쿼리오류가 나오지만 아무 문제 없다는 커뮤니티 질문 내용을 확인하고 다음 과정으로 넘어가고 있습니다.

질문이 너무 많고 기초적인 내용이라 답변이 어려우시겠지만 나름 열심히 하고 있습니다.

과정을 마무리 하기까지 앞으로도 많은 질문이 있겠지만....많은 조언 부탁 드립니다. 감사합니다!

네~ 신의비상님!

파일럿 프로젝트를 막힘없이 진행 할 수 있으면, 이 강의를 수강할 이유가 없을겁니다. ^^

파일럿 프로젝트 마무리까지 화이팅! 입니다. -빅디 드림

0

안녕하세요! 신의비상님!

하둡의 네임노드가 포맷이 되지 않는 이유는 여러가지가 있는데요../dfs/nn 경로의 메타정보가 꼬이는 경우 주로 발생합니다.

우선 아래 내용으로 조치해 보시기 바랍니다.

1. Putty로 Server01, 02에 접속해 /dfs/nn 디렉토리 삭제
$ rm -rf /dfs/nn

2. CM에서 YARN , HDFS 삭제후 > 재설치 

- 빅디 올림

선생님 안녕하세요?

위 말씀하신 내용으로 조치해도 아래와 같이 실패로 나오네요.

어디가 문제인지요?

첫번째 실패

두번째 실패

세번째 실패

네~ 먼저 아래 명령으로 하둡이 세이프모드로 되어 있는지 확인 부탁 드립니다.  

현재 저렇게 설치가 실패된 상태에서 아래 단계를 진행해 보시기 바랍니다.

1. Server01 또는 02에 Putty로 접속

2. Safe Mode Is On 상태 확인
     $ hdfs dfsadmin -safemode get

3. Safe Mode 해제 명령 수행
     $ hdfs dfsadmin -safemode leave

4. Cloudera Manager > Home > HDFS > 재기동

두번째로 HDFS 권한 검사도 확인이 필요해 보입니다.

CM 홈 > HDFS > 구성 에서 검색창에 "HDFS 권한" 으로 조회하면 "HDFS 권한 검사" 항목이 표기 되고, 여기에 체크박스가 해제 되어 있어야 합니다.

마지막으로 속시원하게 HDFS 삭제후 재설치가 깔끔할 수 있습니다. ㅎㅎ

요렇게 재시도 해봐주세요~

- 빅디 드림