inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

15일간의 빅데이터 파일럿 프로젝트

5.빅데이터 클러스터 구성 3 - DataNode 추가 및 환경설정

CM 재설정

208

학나래

작성한 질문수 5

0

CM을 설정 후 가상 서버를 추가하고 다시 구성하는 방법은 없는지요?

CM을 한번 설정하면 다시 설정하기 위해 컴퓨터 리셋을 해야 하는지 알려주시기 바랍니다.

Kafka Flume redis ZooKeeper 데이터 엔지니어링 Impala Hadoop bigdata

답변 1

0

Big.D

안녕하세요! 학나래님!

주말에도 파이팅입니다!!! ㅎㅎ

아래 답변 드립니다. 

Q1. CM을 설정 후 가상 서버를 추가하고 다시 구성하는 방법은 없는지요?

==> 원래는 가상서버(Server03)를 추가 할 수 있었습니다. 그러면 해당 Server03에 CM에서 필요한 패키지들이 클라우데라사의 원력 레파지토리로부터 다운로드 되는 구조 였는데요, 이 다운로드가 막히면서 추가가 어렵게 됐습니다. 대신 Server01 데이터 노드를 추가해 사용해 보실 수 있습니다.

빅데이터 파일럿 환경에서 2~3개의 데이터 노드 갯수는 크게 의미는 없습니다. 최소 물리적인 데이터 노드를 6대 이상으로 구성해야 분산컴퓨팅 성능을 가늠해 볼 수 있기 때문입니다. 

만약 하둡에 좀더 깊이 있는 공부를 원하시면...
파일럿 프로젝트를 끝내고, 아파치 하둡 클러스터를 3개의 가상서버로 설치/구성해 보는 것도 추천 드립니다. (아파치 하둡: https://hadoop.apache.org)
참고로 클라우데라도 이 아파치 하둡을 갖어다 사용하고, CM 같은 기능을 확장해 제품화 합니다. 

Q2. CM을 한번 설정하면 다시 설정하기 위해 컴퓨터 리셋을 해야 하는지..

==> 가상서버(컴퓨터)를 리셋할 필요는 없습니다. 환경 설정한 해당 서버만 리셋 하시면 됩니다. 예를들어 HDFS의 리플리카 갯수를 '3' --> '1'로 조정 했다면, HDFS 서버만 리스타트 하시면 되고요..

변경하면 CM 홈의 좌즉 서버 리스트에서 '리스타트' 아이콘 또는 '클라이언트 재배포' 아이콘이 활성화 되어 리스타트가 필요한 서버들의 정보를 알려 주기도 합니다.

- 빅디 드림

주제영역3 데이타 조회 문의

0

58

2

환경 세팅 후 클라우데라매니저 삭제시

0

81

2

수강 기간 연장 부탁드립니다ㅠ

0

79

2

클라우데라 매니저 접속 불가 및 로그인 정보 문의

0

100

2

gcc 설치 에러

0

138

3

클러스터 설정 오류

0

107

2

클라우데라 클러스터 설치로 안넘어가짐

0

126

2

버추어박스 5.0 설치

0

155

2

워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.

0

92

2

Hue 500 Error 어떻게 해결할 수 있나요?

0

162

3

환경세팅 질문있습니다.

0

114

2

버쥬얼박스

0

83

2

호스트 불량 문제에 관하여

0

113

2

하이브쿼리에서 에러가 나요...

0

184

3

하이브쿼리에서 에러

0

129

1

Hbase에 적재된 데이터 확인시 에러

0

159

2

파이썬 설치 시 에러

0

170

2

redis-cli 데이터 적재 확인

0

145

2

카프카 토픽 생성에서 에러

0

146

2

HDFS 명령어를 치는데 오류가 납니다

0

140

2

가상환경 내보내기

0

114

1

SpoolDIR 폴더로 옮기

0

113

2

cpu usage 에러

0

114

2

쿼리 실행시 10000 에러

0

129

2