선생님 질문있습니다 ㅎㅎ
두 가지 질문 있습니다 !!
1. 혼자서 파일럿프로젝트 진행해보고 싶은데 클라우드환경에서 하려고 합니다.
근데 클라우데라 매니저 이제 설치가 안되잖아요 ㅠㅠ 설치할 방법이 없나요? 혹은 사용할 수 있는 다른 오픈소스가 있나요?
아니면 일일이 하둡 에코시스템들을 수동으로 설치해야되나요?
/
/
2. 사적인 질문이고 답하기 어려우실 수도 있을 것 같은데... ㅎㅎㅎ
데이터 엔지니어로 취업 준비중인데 선생님께서는 하둡 에코시스템을 처음에 어떻게 공부하셨나요??
그리고 선생님께서 생각하시는 신입 데이터 엔지니어에게 필요한 기술역량(SQL능력, 알고리즘, 하둡관련 등등)들은 무엇인지 알려주실 수 있나요????
/
2번은 답하기 애매하시겠지만 답변해주시면 정말정말 감사드리겠습니다 !!
답변 1
1
안녕하세요! 빅디 입니다.
아래 두개 모두 답변 드립니다. ㅎㅎ
1. 이제 클라우데라는 엔터프라이즈 라이선스가 없으면 사용이 어렵다고 보시면 됩니다. 대신 아래 두가지 대안이 있는데요..
- 하둡 에코시스템들을 일일이 다운로드 받아 설치 구성 한다.
- 암바리 3.1.x (클라우데로 통합 이전 버젼)을 사용 한다.
위에서 첫번째는 많은 백그라운드 기술과 노력/시간들이 필요 합니다. CM 또는 Ambari 같은 제품이 나오기 전에는 모두 메뉴얼하게 설치/구성을 해서 사용도 했었고요...플랫폼 아키텍트/TA/AA 를 포지션 하지 않는이상 비추 입니다. 대신 아래 두번째 방법을 추천 드립니다.
두번째, 호튼웍스 Ambari를 사용 하는 방법인데요.. 클라우데라의 Cloudera Manager와 유사한 기능을 하는 소프트웨어 입니다. 하지만 호튼웍스가 클라우데라로 흡수 되면서 Ambari 역시 자유로운 사용이 제한 되었고, 대신 합병 이전인 3.1.4 버젼 이하로는 사용이 가능 합니다. 암바리 자료는 인터넷상에 많이 있느니 참고 하시기 바랍니다.
2. 경험이 제일 중요합니다. 문제는 신입분들에겐 이 경험이 없다는 것과 그 기회조차 갖기가 쉽지 않다는 것인데요, 대신 스스로 파일럿 프로젝트 주제를 선정하고 만들어 보라는 말씀을 드리고 싶습니다. 취업시 책의 지식을 나열 하는 것 보다, 비록 파일럿 프로젝트 이나 말하고자 하는 지식을 경험을 기반으로 얘기 하는것, 그리고 프로젝트를 진행 하며 생겼던 문제를 해결 했다는 경험은 하늘과 땅차이입니다. 그리고 이러한 의지와 열정이 신입에겐 가장 중요하고, 기술은 자연스럽게 주어진 상황에서 뒤따라 오는 거라 생각 합니다.
- 빅디 드림
주제영역3 데이타 조회 문의
0
58
2
환경 세팅 후 클라우데라매니저 삭제시
0
81
2
수강 기간 연장 부탁드립니다ㅠ
0
79
2
클라우데라 매니저 접속 불가 및 로그인 정보 문의
0
99
2
gcc 설치 에러
0
137
3
클러스터 설정 오류
0
107
2
클라우데라 클러스터 설치로 안넘어가짐
0
126
2
버추어박스 5.0 설치
0
155
2
워크플로우 예약 실행시 테이블은 생성되는데 데이터가 들어가지지 않습니다.
0
92
2
Hue 500 Error 어떻게 해결할 수 있나요?
0
162
3
환경세팅 질문있습니다.
0
114
2
버쥬얼박스
0
83
2
호스트 불량 문제에 관하여
0
113
2
하이브쿼리에서 에러가 나요...
0
184
3
하이브쿼리에서 에러
0
129
1
Hbase에 적재된 데이터 확인시 에러
0
159
2
파이썬 설치 시 에러
0
170
2
redis-cli 데이터 적재 확인
0
144
2
카프카 토픽 생성에서 에러
0
146
2
HDFS 명령어를 치는데 오류가 납니다
0
139
2
가상환경 내보내기
0
113
1
SpoolDIR 폴더로 옮기
0
113
2
cpu usage 에러
0
114
2
쿼리 실행시 10000 에러
0
129
2