99,000원
월 19,800원
5개월 할부 시
초급자를 위해 준비한
[데이터 엔지니어링] 강의입니다.
High Availability가 보장되는 빅데이터 시스템 또는 분산처리 시스템 클러스터 (HDFS, Zookeeper, Spark, Zeppelin) 를 직접 구축해보는 코드랩 위주의 수업입니다.
✍️
이런 걸
배워요!
이런 걸
배워요!
Big Data Cluster Setup
Distributed File OR Processing System
High Availability
Hadoop
HDFS
Apache Spark
Apache Zeppelin
Apache Zookeeper
AWS (EC2, AMI, Security Group)
이런 분들께 추천드려요!
🎓
학습 대상은
누구일까요?
학습 대상은
누구일까요?
빅데이터 처리 시스템 클러스터 구축을 직접 경험하고 싶은 수강생
데이터 분석 및 시스템에 관심있고 직무를 희망하는 학생
고가용성 클러스터 실습을 직접 경험하고 싶은 개발자
빅데이터 분석 및 구축 분야에서 강점을 만들고 싶은 취준생
📚
선수 지식,
필요할까요?
선수 지식,
필요할까요?
파이썬 기초 코딩
리눅스 명령어 기초 지식
데이터베이스 기초 지식
안녕하세요
J.PHIL 입니다.
J.PHIL 입니다.
안녕하세요 J.PHIL 입니다 🧑🏻🎓
첫번째 강의로 [ 빅데이터 시스템 구축 및 분석에 관심있는 입문자 ] 를 위해
"Mastering Big Data Processing: Tools and Techniques for Success" 강의를 오픈 하였습니다.
'수업 및 프로필' 자세한 사항들은 수업 상세 페이지에 잘 작성했으니 참고 부탁드립니다 🙏🏻
커리큘럼
총 36 개
˙ 4시간 51분의 수업
이 강의는 영상, 수업 노트, 첨부 파일이 제공됩니다. 미리보기를 통해 콘텐츠를 확인해보세요.
섹션 0. Introduction to Course
3 강
∙ 22분
섹션 1. 이론] Distributed File System
1 강
∙ 9분
섹션 2. 이론] Intro to Big Data Frameworks
2 강
∙ 17분
Framework 1 and 2] Hadoop (HDFS + Yarn) and SPARK
13:41
Framework 3 and 4] Zookeeper (분산 코디네이터) and Zeppelin (빅데이터 노트북)
04:18
섹션 3. 이론] About SPOF and High Availability (고가용성)
1 강
∙ 6분
All About SPOF and High Availability and Quorum Journal Manager
06:25
섹션 4. 이론] About HDFS Federation
1 강
∙ 4분
섹션 5. 이론] Final Wrap Up
1 강
∙ 4분
Final Wrapup About High Availability by Journal Manager
04:52
섹션 6. 이론] Background before CODELAB :)
1 강
∙ 5분
Background Knowledge (AWS AMI, Security Group, /etc/hosts, hostname, ssh)
05:31
섹션 7. 코드랩-1] Introduction to Codelab
1 강
∙ 4분
섹션 8. 코드랩-2] Launch Base Node and Install Essential Settings
2 강
∙ 20분
Codelab Guidance
02:35
Launch Base Node & Install Essential Programs & Make AMI
17:49
섹션 9. 코드랩-4] Create 5 Nodes by My AMI
2 강
∙ 19분
Codelab Guidance
03:59
Create 5 nodes by AMI & Environment setting 😊
15:30
섹션 10. 코드랩-5] All About Hadoop Setup
2 강
∙ 20분
Hadoop Setting Guidance
10:02
Codelab] Hadoop Configuration Setting
10:18
섹션 11. 코드랩-6] All About Zookeeper Setup
1 강
∙ 5분
Codelab Guidance and Zookeeper Setup
05:17
섹션 12. 코드랩-7] Clone Frameworks to Other Nodes
1 강
∙ 5분
Copy the frameworks to other 4 nodes
05:53
섹션 13. 코드랩-8] Start and Demo Hadoop and Zookeeper Daemons
2 강
∙ 22분
Start Zookeeper Daemons
미리보기
08:28
Start Hadoop Daemons and Launch Wordcount on Cluster 🏄🏼
14:24
섹션 14. 코드랩-9] All About WEB UI Setup
1 강
∙ 7분
Edit inbound rule in Security Group in AWS
07:04
섹션 15. 코드랩-10] All About Spark Setup and Demo Spark Job
2 강
∙ 10분
Codelab] Spark Configuration Setting
05:50
Start Spark Daemons and Demo Spark Job 😎
04:37
섹션 16. 코드랩-11] Demo Automatic Failover on HDFS High Availability
1 강
∙ 6분
Demo Automatic Failover on HDFS Cluster 🫁
06:06
섹션 17. 코드랩-12] Zeppelin Setup and Demo on Big Data Cluster
4 강
∙ 23분
Codelab] Zeppelin Configuration Setting and Start Daemons
05:04
Demo-1] Pyspark on Masterpiece Big Data Cluster 🏂🏼
04:22
Demo-2] Pyspark with Airbnb on Masterpiece Big Data Cluster 🧛🏼
13:44
Download Airbnb Dataset 🚗
섹션 18. 코드랩] Final Wrapup 😊
6 강
∙ 1시간 12분
W-1] Spark Submit
04:22
W-2.1] How to Trouble Shoot by Port
20:02
W-2.2] How to Trouble Shoot by Log
05:47
W-3] All About Scripts
17:05
W-4.1-ADVANCED] ISSUE CASE 1
10:35
W-4.2-ADVANCED] ISSUE CASE 2
14:39
섹션 19. Closing & Promotion 👩🏼💻
1 강
∙ 3분
Closing & Promotion
03:20
강의 게시일 : 2023년 10월 30일
(마지막 업데이트일 : 2024년 03월 15일)
수강평
총 10개
수강생분들이 직접 작성하신 수강평입니다.
4.9
10개의 수강평
5점
4점
3점
2점
1점
VIEW
추천 순
최신 순
높은 평점 순
낮은 평점 순
평점 순
높은 평점 순
낮은 평점 순
내년부터 빅데이터 클러스터/파이프라인 관련 업무가 추가되면서 듣게 되었는데, 너무 잘 들었습니다
일단 코드랩 중심으로 한 번 훑고, 제가 필요한 요구사항에 맞춰서 디벨롭 하는 방법으로 접근했는데, 최적화된 강의인 것 같습니다
파이프라인 마스터 강의는 수강기한이 있는 걸로 알고 있어서, 추후 시간적 여유가 생겨서 집중해서 들을 수 있을 때 들어야겠습니다
목소리 톤이나 하나씩 짚어가며 설명하는 내용 등 정말 많은 도움이 되었습니다. 감사합니다
2023-12-30
이론 부터 코드랩까지 초기 입무자에게 정말 추천하는 강의 입니다!!
빅데이터 클러스터 구축 강의로 필수로 수강하길 추천합니다!!
2023-12-31
감사합니다!
2024-02-08
곧 졸업을 앞둔, 데이터 엔지니어를 지망하는 컴공과 학생입니다.
취업 관련 포트폴리오를 만들면서, 빅데이터를 처리하기 위한 파이프라인 및 아키텍쳐를 어떻게 구성하고, 어떤 식으로 aws 환경을 설정하여 최대한 낮은 비용으로 효율적으로 이용할 수 있을지 고민이 많았었는데, 본 강의를 통해 엄청난 인사이트와 노하우들을 얻어갑니다.
특히, 빅데이터를 다루는 다양한 프레임워크들에 대한 많은 지식도 얻게 되어 앞으로 어느쪽으로 파고들수 있을지 영감을 얻은 것 같아 기쁩니다.
가뭄 끝에 단비를 만났습니다. 저와 같이 이쪽 분야를 지망하시는 학생분들께 수강 추천드립니다.
2024-02-26
이전에 파이프라인 강의를 듣고 본 강의를 듣고 있는데 머리속에 잘 들어와서 너무 좋아요~
컴팩트하고 실무에 쓰일 강의 감사해요~
이 강의도 금방 들어버릴 것 같은데 다른 강의도 있을지 기대됩니다.
2024-01-25