실리콘밸리 엔지니어와 함께하는 DBT
미쿡엔지니어
현대적인 데이터 팀이 dbt를 활용하는 방식을 배웁니다. 유지보수 가능한 분석 모델과 검증된 데이터 파이프라인을 직접 만들어봅니다. 분석 엔지니어링의 핵심 개념을 실무 중심으로 익힙니다. 데이터 커리어를 한 단계 더 성장시키고 싶은 분들을 위한 강의입니다 🚀
초급
SQL, 데이터 엔지니어링, data-analysis
실리콘밸리 소프트웨어 엔지니어에게 배우는 빅데이터를 처리하는 방법 & 파이썬을 이용해 아파치 스파크로 빅데이터 코드를 개발하는 법을 가르쳐 드립니다. 현재 14년차 소프트웨어 개발자로 웹 어플리케이션, 빅데이타 그리고 SRE & 데브옵스까지 파이썬으로 다 처리하고 있습니다. 파이썬을 이용해, 빅데이터 직군에서 꼭 알아야하는 아파치 스파크에 대해서 쉽고 깊게 배울 수 있는 기회를 절대 놓치지 마세요!

먼저 경험한 수강생들의 후기
5.0
Hyunwoo Park
Spark를 실전에서 사용하기에 좋은 강의 구성입니다. 항상 개발 환경 구축이 복잡하고 시간이 많이 걸려서, 배우기 시작하기도 전에 에너지가 소모되곤 했는데, docker-compose로 한 번에 공부할수 있는 환경 구축 방법도 알려주셔서 배우는데 집중하기 좋았습니다. 몇 년 동안 Spark를 사용해서 개발해 왔지만, 개념을 전반적으로 돌아보면서 제가 몰랐던 기능들을 더욱 자세하게 알게 되어 좋았습니다. 초보자나 중급자 모두에게 적합한 Spark 강의라고 생각됩니다. 감사합니다!
5.0
오늘했던거 까먹는사람
de 에서 백엔드 개발자로 이직했었는데 다시 de 일을 하고싶어서 복습하는 과정에서 좋네요 spark UI 랑 코드랑 매핑해서 설명하는것도 있었으면 좋았을것 같았어요 완강후 후기 spark UI 랑 코드랑 매핑해서 설명하는것도 있었네요 스트리밍 개념이 좀더 필요해서 강의를 들은 것도 있었는데 좋았아요 추후 스파크사용법은 배웠지만 어떻게 데이터 파이프라이닝을 구축하고 어떤식으로 구축을 해야하는지에 대한 강의도 나왔으면 좋겠네요
5.0
미국달팽이
저도 실리콘밸리 거주중인데, 개념부터 예제 그리고 스트리밍 관련해서 너무 도움이 되었습니다. 감사합니다. 다른 강의도 같이 결제 했는데 좋은 결정이었네요
PySpark(파이스파크)
Apache Spark(아파치 스파크)
빅데이터
빅데이터 머신 러닝
실시간 빅데이터 처리
Apache Cassandra
Apache Kafka
Apache Iceberg
실리콘밸리 엔지니어에게 직접 배우는
빅데이터 강의 들어보실래요? 🤗
빅데이터 개발을 실리콘밸리 개발자의 노하우와 함께 쉽게 배울 수 있습니다.
실리콘 밸리를 포함한 전 세계의 많은 대기업과 금융기관에서는 Apache Spark를 활용하여 대용량 데이터를 분석하고 머신 러닝 모델을 만들고 있습니다. 빅데이터를 다루는 일은 데이터 엔지니어와 데이터 사이언티스트의 필수 능력입니다. 그리고 빅데이터를 수집하고 분석하기 위해서는 이제 Spark의 능력은 필수입니다.
Spark는 처음부터 분산 데이터 처리 프레임을 기반으로 만들어졌기 때문에 적게는 한 대부터 많게는 수백 대의 서버에서 용량을 확장해 가면서 실시간으로 빅데이터를 처리하고 또한 이를 머신러닝 모델로 만들 수 있습니다. 현재 저는 페타바이트(PB) 이상의 데이터를 관리하며, 100TB 이상의 메모리를 운용하고 있습니다.
본 강의를 들은 후에는 아파치 스파크(Apache Spark)의 핵심 Framework에 대해 이해하고, 빅데이터를 쉽게 수집 및 가공할 수 있으며, 간단한 머신러닝 모델을 여러 대의 서버에 이용해서 만들 수 있을 겁니다. 파이썬 기본 문법을 알고 있다면 충분히 공부할 수 있어요.
빅데이터 분석을 위한 Spark의 RDD 및 Dataframe 활용 능력
머신러닝 Framework을 구성하는 다양한 기술 요소에 대한 이해
실시간 데이터를 분석하기 위한 Spark Streaming에 대한 이해
많은 양의 데이터를 다뤄야 하는
백엔드 개발자
빅데이터 분야를
공부해보고 싶은 개발자
스파크의 깊은 지식을 배우고
싶은 데이터 엔지니어
1. 아파치 스파크 소개
2. 아파치 스파크 RDD의 기본적인 특징과 예제
3. 아파치 스파크 SQL과 Dataframe(데이터 프레임)
4. 아파치 스파크 엔진 Deep dive
5. 아파치 스파크 Machine Learning(머신러닝) 라이브러리, MLlib
6. 아파치 스파크 Streaming, 실시간 데이터 처리 라이브러리
Q. 비전공자도 들을 수 있는 강의인가요?
네, 하지만 파이썬의 기본 능력과 데이터를 다루었던 경험이 있으셔야 이해가 쉬울 수 있습니다.
파이썬이 처음이시라면 유튜브를 통해 파이썬 기초를 학습하거나 아래 강의를 먼저 수강해주세요! 기초 부분만 보셔도 전체 강의를 따라오는 데 어려움은 없을 것입니다.
Q. 수업 내용을 어느 수준까지 다루나요?
스파크의 기초부터, 현업에 필요한 고급 정보까지 다룹니다.
Q. 왜 스파크를 배워야 하나요?
국내뿐만 아니라 실리콘 밸리 대부분의 회사에 스파크로 빅데이터를 처리하고 있습니다. 그만큼 스파크로 데이터를 처리하시는 방법을 아신다면, 취업하시기도 한결 쉬우실 겁니다.
본 강의 실습은 Docker로 환경 설정이 되어 있습니다. Docker에 대해 더 알고 싶으시다면, 제 무료 Docker 강의를 참고해 보시길 추천드립니다. 강의 링크: [https://inf.run/8eFCL]
학습 대상은
누구일까요?
파이썬의 기본적인 문법을 아시는 분
빅데이터 직군으로 이직하시고 싶은 분
상대적으로 안정적인 벡엔드 엔지니어가 되고 싶은 분
백엔드 엔지니어로 이직하시고 싶은 분
아파치 스파크의 최신 정보와 세부사항을 아시고 싶으신 분
선수 지식,
필요할까요?
파이썬
Docker(다커)
20,543
명
수강생
1,015
개
수강평
333
개
답변
4.8
점
강의 평점
29
개
강의
한국에서 끝낼 거야? 영어로 세계 시장을 뚫어라! 🌍🚀
안녕하세요. UC Berkeley에서 💻 컴퓨터 공학(EECS)을 전공하고, 실리콘 밸리에서 15년 이상을 소프트웨어 엔지니어로 일해왔으며, 현재는 실리콘밸리 빅테크 본사에서 빅데이터와 DevOps를 다루는 Staff Software Engineer로 있습니다.
🧭 실리콘 밸리의 혁신 현장에서 직접 배운 기술과 노하우를 온라인 강의를 통해 이제 여러분과 함께 나누고자 합니다.
🚀 기술 혁신의 최전선에서 배우고 성장해 온 저와 함께, 여러분도 글로벌 무대에서 경쟁할 수 있는 역량을 키워보세요!
🫡 똑똑하지는 않지만, 포기하지 않고 꾸준히 하면 뭐든지 이룰수 있다는 점을 꼭 말씀드리고 싶습니다. 항상 좋은 자료로 옆에서 도움을 드리겠습니다
전체
65개 ∙ (7시간 46분)
해당 강의에서 제공:
전체
75개
4.7
75개의 수강평
월 ₩19,800
5개월 할부 시
₩99,000