• 카테고리

    질문 & 답변
  • 세부 분야

    데이터 엔지니어링

  • 해결 여부

    미해결

클라우데라 매니저를 사용하는 이유

22.09.23 16:45 작성 조회수 674

0

인프런에서 하둡 강의를 검색하면 나오시는 다른 강사분께서는 "클라우데라 매니저를 사용하지 않고 직접 하둡을 설치해서 강의를 진행하고 싶었다" 라고 말씀하시는데 문득 이유가 궁금해져서요,

강의를 보면서 느낀바로는 클라우데라 매니저는 하둡 생태계를 효율적으로 구성하기 위해서 관련된 툴(라이브러리? 오픈소스? 프레임워크? 뭐라고 해야할까요)들을 한곳에서 설치할 수 있게 제공하는 것으로 이해했는데요, 무조건 클라우데라 매니저를 사용하는 것이 편리할 것 같은데 직접 하둡을 설치하는것의 이점이 있나요?

답변 1

답변을 작성해보세요.

2

안녕하세요! "zpfh1638"님!!!

너~무 좋은 질문 입니다. ^^

Cloudera Manager를 기업이 사용할때는 돈을 주고 사용하는 상용 제품 입니다.

이게 첫번째 이유고요...바쌉니다. ^^;;;

초기엔 CM 또는 유사한 Ambari 같은 제품들이 없었습니다.
(참고로 국내에선 넥스알의 NDAP라는 제품이 있고요.)

일일이 하둡/카푸카/하이드/주키퍼 등을 다운로드 하고 설치하는 엄청난 작업들을 했습니다.

이게 너~~~무 힘든 작업 이다보니 CM같은 솔루션이 나온 거고요,

CM도 오픈소스를 갖어다가 패키징 하고, 편리한 기능들을 추가해 자동화 하며 제품화 한 것 입니다.

이쪽 분야에서 빅데이터 테크니컬 아키텍트라는 영역이 있습니다. 이런 빅데이터 제품들을 요구사항에 맞춰 설치/구성 하고 기술을 지원 하는 역할인데요...이분야로 포지션 한다면, 하둡을 직접 설치하고 구성을 해봐야 하고요, 인프라적인 접근과 기술 역량등을 익히고 싶다면, 험난한 과정이지만 CM 없이 직접 설치/구성을 해봐야 겠죠??!!

또..기업이 돈이 없어서, CM을 살수 없다면...오픈소스들을 다운로드 받아 구성하고 유지보수 및 운영을 해야 하는 경우도 이유이기도 합니다~

아! 이런 경우도 있습니다. 하둡/카프카/주키퍼 등을 이용해 어떤 기업이 새로운 솔루션을 만드는 경우라면...

예를들어 IoT 데이터 처리 솔루션을 만드는데, 카프카와 하둡만 있으면 되는데, 비싼 CM에는 불필요한 기능들이 너무 많다고 생각 할 수 있죠??!!

그리고 자체 솔루션을 만들어 팔아야 하는데, 이미 상용 라이선스인 CM을 집어 넣어 버리면 컴플라이언스 문제도 있겠죠??!!

이런경우 자체 기술력만 있다면, 아파치 라이선스 오픈소스등을 직접 설치/구성해 제품화 해야 합니다.

-빅디 드림