인프런 커뮤니티 질문&답변
작성한 질문수
선생님 질문있습니다 ㅎㅎ
해결된 질문
작성
·
241
0
두 가지 질문 있습니다 !!
1. 혼자서 파일럿프로젝트 진행해보고 싶은데 클라우드환경에서 하려고 합니다.
근데 클라우데라 매니저 이제 설치가 안되잖아요 ㅠㅠ 설치할 방법이 없나요? 혹은 사용할 수 있는 다른 오픈소스가 있나요?
아니면 일일이 하둡 에코시스템들을 수동으로 설치해야되나요?
/
/
2. 사적인 질문이고 답하기 어려우실 수도 있을 것 같은데... ㅎㅎㅎ
데이터 엔지니어로 취업 준비중인데 선생님께서는 하둡 에코시스템을 처음에 어떻게 공부하셨나요??
그리고 선생님께서 생각하시는 신입 데이터 엔지니어에게 필요한 기술역량(SQL능력, 알고리즘, 하둡관련 등등)들은 무엇인지 알려주실 수 있나요????
/
2번은 답하기 애매하시겠지만 답변해주시면 정말정말 감사드리겠습니다 !!
답변 1
1
안녕하세요! 빅디 입니다.
아래 두개 모두 답변 드립니다. ㅎㅎ
1. 이제 클라우데라는 엔터프라이즈 라이선스가 없으면 사용이 어렵다고 보시면 됩니다. 대신 아래 두가지 대안이 있는데요..
- 하둡 에코시스템들을 일일이 다운로드 받아 설치 구성 한다.
- 암바리 3.1.x (클라우데로 통합 이전 버젼)을 사용 한다.
위에서 첫번째는 많은 백그라운드 기술과 노력/시간들이 필요 합니다. CM 또는 Ambari 같은 제품이 나오기 전에는 모두 메뉴얼하게 설치/구성을 해서 사용도 했었고요...플랫폼 아키텍트/TA/AA 를 포지션 하지 않는이상 비추 입니다. 대신 아래 두번째 방법을 추천 드립니다.
두번째, 호튼웍스 Ambari를 사용 하는 방법인데요.. 클라우데라의 Cloudera Manager와 유사한 기능을 하는 소프트웨어 입니다. 하지만 호튼웍스가 클라우데라로 흡수 되면서 Ambari 역시 자유로운 사용이 제한 되었고, 대신 합병 이전인 3.1.4 버젼 이하로는 사용이 가능 합니다. 암바리 자료는 인터넷상에 많이 있느니 참고 하시기 바랍니다.
2. 경험이 제일 중요합니다. 문제는 신입분들에겐 이 경험이 없다는 것과 그 기회조차 갖기가 쉽지 않다는 것인데요, 대신 스스로 파일럿 프로젝트 주제를 선정하고 만들어 보라는 말씀을 드리고 싶습니다. 취업시 책의 지식을 나열 하는 것 보다, 비록 파일럿 프로젝트 이나 말하고자 하는 지식을 경험을 기반으로 얘기 하는것, 그리고 프로젝트를 진행 하며 생겼던 문제를 해결 했다는 경험은 하늘과 땅차이입니다. 그리고 이러한 의지와 열정이 신입에겐 가장 중요하고, 기술은 자연스럽게 주어진 상황에서 뒤따라 오는 거라 생각 합니다.
- 빅디 드림
답변주셔서 정말 감사합니다 :)
그리고 선생님의 좋은 강의덕분에 도움이 많이됐어요 ㅎㅎ
적게 일하시고 많이 버시고 항상 건강하세요!