실리콘밸리 리더가 알려주는 빅데이터 처리 (Spark)
한기용
빅데이터를 처리한다는 것은 Pandas로 데이터를 처리하는 것과 무엇이 다를까요? 빅데이터 처리의 필수 프레임워크인 Spark에 대해서 배워볼까요?
초급
Apache Spark, pyspark, Pandas
실리콘밸리 데이터 리더가 알려주는 Airflow 기초
AI 시대가 도래하면서, 데이터 파이프라인 구성은 기업 경쟁력을 좌우하는 핵심 역량으로 자리 잡았습니다. 가장 널리 사용되는 Airflow를 활용해 효율적인 데이터 파이프라인을 구축하는 노하우를, 실전 경험과 풍부한 강의 경력을 지닌 실리콘밸리 전문가(前 유데미 데이터팀 헤드, 現 산호세 주립대 데이터 석사 과정 교수)에게 직접 배워보세요.
이런 걸 배울 수 있어요
AIrflow+Snowflake+Docker 기반의 데이터 파이프라인 구축
데이터 실무에서 바로 활용할 수 있는 실용적인 SQL과 파이썬 스킬
데이터 엔지니어로
커리어를 생각하고 있어요
데이터 엔지니어가 되고 싶지만 뭘 해야 할지 모르겠는 개발자 / 분석가/ 과학자 / 학생
데이터 파이프라인을 만드는데 관심있어요
데이터 관련 일을 하면서 데이터 파이프라인 관련 일을 해야하거나 이 방법이 궁금하신 분
데이터 엔지니어링에 대해
더 잘 알고 싶어요
데이터 엔지니어나 ML 엔지니어 등으로 일을 하지만 더 자세히 알고 싶으신 분
이런 분들께
추천드려요
학습 대상은
누구일까요?
데이터 엔지니어로 일하고 있거나 일하고 싶은 사람
데이터 관련 파이프라인 일을 하거나 하고 싶은 사람
데이터 관련 업무/프로젝트에 호기심이 있는 사람
선수 지식,
필요할까요?
Python (초급)
SQL (초급)
928
명
수강생
57
개
수강평
34
개
답변
4.9
점
강의 평점
5
개
강의
컴퓨터 공학 석사 후 삼성전자에서 시작된 커리어가 친구덕에 실리콘밸리로 이어져 지난 29년간 13개의 다양한 스테이지의 회사를 다녔습니다 (창업, 대기업들, 다수의 스타트업들).
야후: 엔지니어링 디렉터로 검색엔진 개발.
유데미. 데이터팀을 처음 만들어 30명까지 성장. 2021년 10월에 나스닥 상장
삼성전자
...
중간에 11개월 쉬어보기도 했고 본의 아니게 엔젤투자자(Chartmetric, Goodtime.io, Select Star, EO, 비지니스 캔버스, ...), 어드바이저(몰로코, 블라인드, 월급쟁이부자들, ...), 컨설팅(SK텔레콤, 현대카드, 이마트 등등) 등의 역할을 하면서 나만의 브랜드를 만들었습니다. 실패를 실패가 아닌 교훈으로 보는 긍정의 힘과 꾸준함이라는 복리의 힘을 믿습니다.
커리큘럼
전체
68개 ∙ (11시간 58분)
해당 강의에서 제공:
수업자료
3. 데이터 팀의 역할 소개
10:14
4. 데이터 인프라 소개
15:37
5. 데이터 엔지니어의 역할
16:22
6. 데이터 파이프라인 소개
12:38
7. 데이터 시스템 예제
05:02
8. Snowflake 소개
15:03
10. Snowflake 환경 익히기
13:58
강의 게시일:
마지막 업데이트일:
수강평
전체
8개
5.0
8개의 수강평
hodoldol수강평 1
∙
평균 평점 5.0
5
100% 수강 후 작성드디어 완강했습니다.!! 기술적으로도 많은 것을 얻어 갈 수 있었지만, 강사님이 시간을 들여서 설명해 주시는 데이터 엔지니어링의 전반적인 개념이 정말 유익했습니다. (섹션 2의 내용들, 데이터 엔지니어링의 미래) 이를 통해 파이프라인을 어떻게 설계하고, 어떤 기술 스택을 선택해야 할지에 대해 큰 인사이트를 얻을 수 있었어요. 또한 강의 중간중간 데이터 엔지니어가 해야 하는 고민들에 대해서 언급하시는데 그런 말씀들이 저는 좋았던 거 같습니다. 또한 강의 자체가 실무적인 팁과 이론적인 부분을 균형 있게 배울 수 있도록 만들어져 있어서, 알아야 할 것들은 딱 알려주시고 나머지는 공부하는 사람에게 맡기는 거 같은 부분이 좋았습니다. 좋은 강의 감사합니다!!
- 한기용지식공유자
따뜻한 수강평 감사드립니다. 제가 만든 데이터 분석/활용 관점에서 만든 SQL 강의도 있습니다. 4월초까지 Spark 관계된 강의도 낼 생각이니 그것도 나중에 한번 확인해보세요.
넵!! Spark 강의 기다리는 동안 SQL 강의 듣고 있으면 되겠군요!
- s00.park
수강평 2
∙
평균 평점 5.0
- 정예찬
수강평 5
∙
평균 평점 5.0
- 김경호
수강평 6
∙
평균 평점 5.0
- Architect
수강평 7
∙
평균 평점 4.1
월 ₩26,400
5개월 할부 시
₩132,000
한기용님의 다른 강의
지식공유자님의 다른 강의를 만나보세요!
![[멘토링] 데이터로 미래를 그리다: 모두를 위한 데이터 리터러시강의 썸네일](https://cdn.inflearn.com/public/courses/333359/cover/4988013e-cded-41bf-b759-2b11d16bd08d/333359.png?f=avif&w=420)
비슷한 강의
같은 분야의 다른 강의를 만나보세요!
![[2025] SQLD 문제가 어려운 당신을 위한 노랭이 176 문제 풀이강의 썸네일](https://cdn.inflearn.com/public/files/courses/336270/cover/01jr03fxecqc2z7spwsjxhpc80?f=avif&w=420)
![토스 시니어 개발자와 함께하는 Data Workflow Management 기반의 대용량 데이터 처리 설계 패턴 [ By. 비전공자 & Toss 개발자 ]강의 썸네일](https://cdn.inflearn.com/public/files/courses/338881/cover/01k53h2spnzsx6661wa1g9kfvj?f=avif&w=420)
![[리뉴얼] 처음하는 MongoDB(몽고DB) 와 NoSQL(빅데이터) 데이터베이스 부트캠프 [입문부터 활용까지] (업데이트)강의 썸네일](https://cdn.inflearn.com/public/courses/324183/cover/fbe9f0cc-4c42-4435-b855-f283f6932415/324183.png?f=avif&w=420)