inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

15일간의 빅데이터 파일럿 프로젝트

2.파일럿 아키텍처 이해 2 - 하드웨어

가상머신을 분리해 생성하는 이유

227

찐찐

작성한 질문수 12

0

안녕하세요. 강의 잘 보고 있습니다.

다름이 아니라, 질문이 있어 글을 남깁니다.

가상머신을 분리해 설치하는 것 까지는 이해했지만, 이것의 필요성(즉, 왜 가상 머신을 분리해야 하는지 & 가상머신마다의 역할이 무엇인지)에 대해 궁금합니다.

참고로 저는 저사양환경(가상서버2대)으로 구축하고 있습니다. 이 두 대로 나누는 이유, 두 대로 나눈 기준, 이 두 대의 차이점에 대해 알려주시면 감사하겠습니다.

답변 주시면 감사하겠습니다.

가상머신 하둡 Kafka Impala 데이터 엔지니어링 ZooKeeper Flume redis Hadoop bigdata

답변 1

1

Big.D

안녕하세요! 빅디 입니다.

관련 질문은 빅데이터의 분산 아키텍처에 관한 내용입니다.

파일럿 단계가 진행 되면서 자연 스럽게 이해 되는 내용이기도 합니다.

그전에 간단히 설명 드리면요...

저희가 사용하는 소프트웨어(하둡, 주키퍼, Hbase, 카푸카 등)는 모두 분산 환경에서 작동하는 아키텍처를 갖고 있습니다. 여기서 핵심은 "분산환경" 이고, 이를 하둡 하나만 예를 들면 다음과 같습니다.

< 서버 10대 (Server01 ~ Server10) 환경 >

* 하둡 네임노드 구성: 2대(Server01, Server02)

* 하둡 저널노드 구성: 3대(Server03, Server04, Server05)

* 하둡 데이터노드 구성: 5대(Server06, Server07, Server08, Server09, Server10)

* 주키퍼 노드 구성: 3대(Server03, Server04, Server05)

10대의 서버로 하둡 클러스터를 아주 간단하게 구축 한다면 위처럼 구성해 볼 수 있습니다.
(실환경의 하둡 데이터 노드는 필요시 수십~수백(천)대로 구성 합니다.)

동일 역할을 하는 서버를 여러대 구성하여 가용성을 높이고, 데이터를 여러 노드에 분산 저장하여 안정성을 강화 하고, 분산 된 데이터를 분석 할땐 여러 데이터 노드의 컴퓨팅 파워로 병렬 처리해 빅데이터를 분석 할 수 있게 됩니다. 

하지만 저희는 개인 PC에서 위와 같은 분산 환경을 구성할 수 없기 때문에, 2개의 가상머신을 이용해 최소사양의 아키텍처로 빅데이터 파일럿 프로젝트를 진행 하는 것 입니다.

Technical Architecture 또는 Application Architecture 분야의 전문가들도 분산 환경을 처음에 이해 하는것이 쉽지 않습니다. 모든것을 한번에 다 이해 하려 하지 마시고 조금씩 단계별로 알아 가시는 것을 추천 드립니다.

글을 쓰다 보니 위 내용은 별도의 강의로 보강해서 올려야 겠다는 생각이 드네요..ㅎㅎ

조만간 해당 강의를 올려 놓도록 하겠습니다.  -빅디 올림

 

 

주제영역3 데이타 조회 문의

0

57

2

환경 세팅 후 클라우데라매니저 삭제시

0

81

2

수강 기간 연장 부탁드립니다ㅠ

0

79

2

클라우데라 매니저 접속 불가 및 로그인 정보 문의

0

99

2

gcc 설치 에러

0

137

3

클러스터 설정 오류

0

107

2

클라우데라 클러스터 설치로 안넘어가짐

0

126

2

버추어박스 5.0 설치

0

155

2

워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.

0

92

2

Hue 500 Error 어떻게 해결할 수 있나요?

0

162

3

환경세팅 질문있습니다.

0

114

2

버쥬얼박스

0

83

2

호스트 불량 문제에 관하여

0

113

2

하이브쿼리에서 에러가 나요...

0

184

3

하이브쿼리에서 에러

0

129

1

Hbase에 적재된 데이터 확인시 에러

0

159

2

파이썬 설치 시 에러

0

170

2

redis-cli 데이터 적재 확인

0

144

2

카프카 토픽 생성에서 에러

0

146

2

HDFS 명령어를 치는데 오류가 납니다

0

139

2

가상환경 내보내기

0

113

1

SpoolDIR 폴더로 옮기

0

113

2

cpu usage 에러

0

114

2

쿼리 실행시 10000 에러

0

129

2