Thumbnail
BEST
데이터 사이언스 데이터 엔지니어링

빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술 대시보드

(5)
17개의 수강평 ∙  234명의 수강생
99,000원

월 19,800원

5개월 할부 시
지식공유자: J.PHIL
총 57개 수업 (14시간 9분)
수강기한: 
4개월
수료증: 발급
난이도: 
입문
-
초급
-
중급이상
지식공유자 답변이 제공되는 강의입니다
폴더에 추가 공유

초급자를 위해 준비한
[데이터 엔지니어링] 강의입니다.

여러분들은 빅데이터 프로세싱의 4단계에 해당하는 [데이터 수집 ▶ 데이터 저장 ▶ 데이터 분석 ▶ 표현] 에 대한 내용을 이론 30% + 실습 70%으로 이루어진 코드랩 방식으로 보다 재밌고 체계적으로 학습합니다 🧑🏻‍🏫

✍️
이런 걸
배워요!
Bigdata Processing Pipeline
Data Acquisition
Data Storage
Data Visualization
Data Analysis
Hadoop Distributed Filesystem
Spark Apache
ELK Stack (Elasticsearch)

실습 중심으로 알차게 배우는 
빅데이터 파이프라인 마스터! 

special thanks to my lovely students 👨🏻‍🎓appreciate it, believe you'll do well anywhere 👩🏻‍🎓



데이터 처리 이론 및 실습 
빅데이터 파이프라인의 핵심!

안녕하세요, J.PHIL 입니다 🙇🏻
좋은 기회를 맞이하여 인프런에서 첫 강의로 빅데이터 시스템 구축 및 분석에 관심있는 입문자를 위해 ‘데이터 처리 이론 및 실습’ 강의를 진행하게 되었습니다. 

한눈에 보는 핵심 키워드

Mastering Big Data Processing: Tools and Techniques for Success

Distributed System
Apache Spark
HDFS
Elasticsearch
Logstash
Kibana
Crawler
Scraping
Selenium
AWS S3
Node.js
Docker

우리는 왜 이 강의를 
들어야 할까요? 📚

최근 약 10년 동안의 급진적인 기술 발전으로 인해 다양한 플랫폼과 서비스가 생겨나고, 다양한 고객들이 그 위에서 질 높은 삶을 영위하고 있습니다. 이에 우후죽순으로 발생하는 데이터 가운데 많은 기업들이 그 중에서 가치 있는 데이터를 발굴하고 추출하여 BM(Business Model)을 설계함으로써 좀 더 우리에게 가치있는 삶을 제공하고 있습니다.

이런 환경에서 저희 엔지니어들👷🏻이 “감히 미래를 예측하고 대응한다면” What and How 준비해야 할까요? 바로 데이터를 관리하고 다루는 능력을 길러야 합니다. 역으로 여러분이 데이터를 잘 다루게 되고 더불어 잘 표현까지 할 수 있다면, 산업에 어떤 점들을 기여할 수 있을까요?

Data-driven decision-making

💡 빅데이터 분석을 통해 조직은 데이터 중심 의사 결정을 내릴 수 있으며, 이를 통해 비즈니스 결과를 개선할 수 있습니다. 

Increased efficiency and productivity

💡 빅데이터 분석을 통해 조직은 운영을 간소화하고, 비용을 절감하며, 생산성을 높일 수 있습니다. 

Innovation

💡 빅데이터 분석은 기업이 새로운 제품과 서비스를 개발하고, 기존 제품과 서비스를 개선하고, 새로운 비즈니스 모델을 만들 수 있도록 함으로써 혁신을 촉진할 수 있습니다. 


그래서 이 강의는 어떻게 
구성되어 있나요? 📑

📝

Data Top-Tier Conference 논문을 땀흘려 쓴 경험

👨🏻‍💼

현업에서 얻은 값진 빅데이터 시스템 구축 및 분석 경험

🧑🏻‍🏫

오랫동안 대학교에서 좋은 제자들을 양성한 경험

이처럼 값진 경험을 바탕으로, “이 분야에 관심있는 어느 누구에게나” 좋은 출발점이 될 수 있도록 빅데이터 프로세스의 4가지 단계에 대해 14주차 이상의 폭넓으면서도 알찬 과정으로 강의를 구성하였습니다 📚

여러분들은 위에 소개된 기술들을 이용하여 데이터 수집 ▶ 데이터 저장 ▶ 데이터 분석 ▶ 표현에 대하여 이론 30% 및 실습 70%의 코드랩 형식으로 학습합니다. 약 6년 동안 훌륭한 제자들의 소중한 피드백들 💌 회고하고 반영해, 최대한 쉽고 질 좋은 컨텐츠로 강의를 구성한 만큼 입문자 분들에게 반드시 큰 도움이 되실 겁니다.

아! 참고로 강의 자료는 추후 다양한 Reference를 찾거나 이 기회를 통해 Research 분야나 더 좋은 기업으로 가실때 도움을 드리기 위해 최대한 영문으로 작성했습니다 🧗🏻‍♀️


저희는 무엇을 배우나요? 🧑🏻‍🏫

Big Data Processing 4 Steps을 기반으로, 아래와 같이 커리큘럼을 구성하였습니다. (1주차 무료영상 참고)

빅데이터 파이프라인에 관심 있는 
누구나 수강하실 수 있습니다 🧑🏻‍🎓

Python 및 Linux 명령어, 데이터베이스에 대한 기초 지식만 알고 있다면 누구나 수강할 수 있습니다.

[프로모션] 학생, 취준생분들께 강의 금액을 지원해드립니다 💪

수입이 없는 학생분 또는 취준생분에게 약 20% 할인을 제공합니다. 아래 링크로 신청해주시고 원활한 comm. 위해, 꼭 수강전 문의 탭에 " ${자기소개} 학생/취준생 [프로모션] 신청했습니다" 와 같이 로그 남겨주세요 :) 

신청 링크수강전 문의

[프로모션] +200 수강생 기념, 기간 연장 프로모션💪

+100명 프로모션 혜택을 받은 수강생분을 제외한, 신규 수강생분들에게 강의 3개월 무료 연장 프로모션을 진행합니다. 아래 링크를 통해 신청해주세요 :)

신청 링크

실습 환경은 어떻게 되나요? 💻

아래와 같이 부담없는 환경을 준비하셔도 충분히 수업을 따라오실 수 있습니다.
(실제 Cluster 구성은 현재 제작 중인 [초보] 이론 강의에서 진행할 예정입니다 🙏🏻)

  • OS: Ubuntu or Linux
  • Machine 사양
    • Aws t2.medium 2 Core 4GB // ec2 free.tier 참석은 가능
    • Virtualbox 이용하여 위 OS로 참석 가능

[입문자 DOCKER 강의] 프로모션 이벤트 😄

Docker 대하여 자세히 공부하고 싶은 분들은 [입문자를 위한 Docker 및 Dockerizing 마스터하기] 적극 추천합니다. [빅데이터 파이프라인 마스터] 수강하신 분들에게 프로모션* 적용해드립니다.

[빅데이터 클러스터 구축패키지] 런칭 프로모션 이벤트 🎓

탄탄한 코드랩으로 고가용성이 보장되는 빅데이터 클러스터 직접 구축하고 싶은 분에게 추천합니다. 옆 강의링크를 클릭후 [수강전 문의] 란에 "아이디 / 이메일 / 프로모션 신청합니다" 라고 남겨주세요.


이 강의를 만든 사람 
J.PHIL을 소개합니다 ✒️

이런 분들께 추천드려요!

🎓
학습 대상은
누구일까요?
빅데이터 처리 시스템 수업을 듣고 싶은 대학교 3,4학년 학생
데이터 분야 커리어에 관심있는 비전공 개발자
데이터 수집, 저장, 분석, 표현 관심있는 주니어 개발자
빅데이터 직무 면접을 앞둔 취업 준비생
📚
선수 지식,
필요할까요?
Python 기초 코딩
Linux 명령어 기초 지식
Database 기초 지식

안녕하세요
J.PHIL 입니다.
J.PHIL의 썸네일

안녕하세요 J.PHIL 입니다 🧑🏻‍🎓

첫번째 강의로 [ 빅데이터 시스템 구축 및 분석에 관심있는 입문자 ] 를 위해
"Mastering Big Data Processing: Tools and Techniques for Success" 강의를 오픈 하였습니다.

'수업 및 프로필' 자세한 사항들은 수업 상세 페이지에 잘 작성했으니 참고 부탁드립니다  🙏🏻

커리큘럼 총 57 개 ˙ 14시간 9분의 수업
이 강의는 영상, 수업 노트, 첨부 파일이 제공됩니다. 미리보기를 통해 콘텐츠를 확인해보세요.
섹션 0. Introduction to Big Data
섹션 1. Data Acquisition [Basic]
[이론] Crawling and Scraping 30:17
[실습] Crawling and Scraping (Urllib, BS4, Selenium) 36:22
섹션 2. Data Acquisition [Advanced]
[이론1] Crawling Recursive Way and Web API 25:15
[이론2] Crontab Scheduler and (Appendix) Proxy Server 16:08
[실습1] Crawling Recursive Way 16:07
[실습2] Selenium을 통해 LinkedIn 제어 및 Job 지원하기 07:25
[실습3] PUBLIC WEB API 제어하기 06:42
[실습4] Crontab 이용하여 Scheduler 만들기 (실시간 달러 환율 조회) 05:23
섹션 3. [Session] Git and Github
[이론] What and How is Git and Github 34:04
[실습] What and How is Git and Github 21:54
섹션 4. Data Storage [S3]
[이론1] S3 정의 and AWS Console 소개 미리보기 16:14
[이론2] S3 Bucket and Object 21:12
[실습1] AWS CONSOLE 제어 및 S3 BUCKET 접근 05:30
[실습2] S3 파일 업로드 및 다운로드 및 PUBLIC 설정 16:49
섹션 5. Data Storage [HDFS] 이론
[이론1] HDFS Motivation and Background 미리보기 11:48
[이론2] Design and Concept of HDFS 13:02
[이론3] Namenode and Datanode 구조 및 H.A 17:17
[이론4] HDFS Fault Tolerance and (Appendix) MapReduce and HBase 25:23
섹션 6. Data Storage [HDFS] 실습
[실습1] Pre-requirement of Setting HDFS 12:03
[실습2] Setting HDFS and Upload data on HDFS 15:28
[실습3] Running MapReduce Job on HDFS 13:13
섹션 7. Data Analysis [Spark Basic]
[이론1] Introduction and RDD and Transformation & Action 17:40
[이론2] Lazy Evaluation in Spark and Spark Components 06:10
[실습1] Spark Practice Environment 구축 03:47
[실습2] Hack Transformation and Action in Spark 15:41
[실습3] Assignment 1,2,3 설명 02:35
[과제] 1번 2번 풀이 04:53
[과제] 3번 풀이 03:55
[실습 및 과제 데이터]
섹션 8. Data Analysis [Explore Dataframe]
[이론 및 실습1] What is Dataframe + Basic Dataframe 24:56
[실습2] Advanced Dataframe and (과제 설명) Airbnb 데이터 분석 18:36
[실습 및 과제 데이터]
섹션 9. Data Analysis [Spark Advanced]
[이론1] Spark SQL 23:47
[이론2] Spark Dataframe 15:26
[실습1] Spark SQL and Dataframe BASIC 18:26
[실습2] Spark SQL and Dataframe Advanced 14:52
[실습 및 과제 데이터]
섹션 10. Data Visualization [NODE JS] 이론
[이론] All About Node Js 22:24
[실습] Node Js 이용하여 빠르게 서버 구축하고 접속하기 16:51
섹션 11. Data Visualization [NODE JS] 실습
[실습1] Node JS + Database by Docker 구축하기 26:28
[실습2] Frontend 연결 구조 및 실습 가이드 10:47
[실습3] 미국 AMD 주식 데이터 저장 및 차트 만들기, e.g., 종가, 거래량 14:41
섹션 12. [Session] ELK 1, Elasticsearch
[이론] What is Elasticsearch and Full Text Search 20:52
[실습1] Elasticsearch 구축하고 실습하기 09:22
[실습2] Elasticsearch 실습하기 28:17
섹션 13. [Session] ELK 2, Kibana and Logstash
[실습1] Kibana 구축 및 실행하기 + Index 만들고 Visualization 실습하기 18:16
[실습2] Kibana 실습하기 > Apache Log 분석하고 미국 지도에 로그 표현하기 10:03
[실습3] Logstash 공부하고 구축후 Apache Log 자동으로 적재하기 21:32
[실습4] 미국 AMD 주식 데이터 "적재 > 저장 > 표현" by Logstash & Elasticsearch & Kibana 15:41
섹션 14. Special Lecture
[SparkAdvanced 과제풀이 on HDFS] Spark Airbnb Dataset on HDFS 환경설정 및 과제 19:54
[SparkAdvanced 과제풀이 on HDFS] Spark Airbnb Dataset on HDFS: 과제2 04:41
[SparkAdvanced 과제풀이 on HDFS] Spark Airbnb Dataset on HDFS: 과제3 13:35
[SparkAdvanced 과제풀이 on HDFS] Spark Airbnb Dataset on HDFS: 과제4 08:47
섹션 15. Special Lecture <Docker>
[Codelab] Find Docker Image in Registry and Run Python Container 06:23
강의 게시일 : 2023년 04월 24일 (마지막 업데이트일 : 2023년 07월 03일)
수강평 총 17개
수강생분들이 직접 작성하신 수강평입니다.
5
17개의 수강평
5점
4점
3점
2점
1점
VIEW 추천 순 최신 순 높은 평점 순 낮은 평점 순 평점 순 높은 평점 순 낮은 평점 순
Mac thumbnail
5
안녕하세요 선생님! 경영학을 나오고 실무를 다뤄보고 싶어 1년 넘게 개발에 대해 공부하고 있습니다. 주위에서 매일 빅데이터 빅데이터처리라는 단어를 많이 듣다보니 알고 싶지만 부담스럽고...본 강의를 통해 한 사이클을 구석구석 잘 다루다보니 데이터 파이프라에 대해서 잘 학습한 것 같습니다. 일단 주어진 시간이 많지 않아 최대로 집중해서 들었는데 남은 기간동안 복습하면서 이를 기반으로 자체 프로젝트도 진행해 보겠습니다~~~!!!많은 조언 부탁드립니다. 감사합니다~~!!
2023-05-16
지식공유자 J.PHIL
안녕하세요 Mac 님, 비전공자 개발자이셔서 초반에 Hurdle 있으셨을텐데 고진감래하며 수강해주셔서 감사합니다. 저도 덕분에 또 다른 영감을 받아 더욱더 열심히 좋은 컨텐츠를 만들도록 노력하겠습니다. Mac 님도 나중에 더 멋진 개발자가 되셔서 더욱더 좋은 가치를 발휘하시길 기대하겠습니다. 감사합니다.
2023-05-17
컴매니아 thumbnail
5
현재 인테리어 스타트업 운영중입니다! 예전에는 직접 서버 운영 및 데이터 분석을 몰라도 됐지만 근래 데이터를 운영하는 관점 및 방향성에 대해 알아야 된다는 생각이 들어서 우연히 주위 지인 추천으로 듣고 있습니다. 상대방의 관점을 배려해서 강의해주시니 큰 도움이되고 있습니다. 아직 HDFS 까지는 저에게 큰 벽일 수 있어 먼저 그 외 강의들을 수강중인데. 저희 지인한테도 추천해봐야겠네요. 앞으로도 좋은 강의 런칭해주시고 및 사업도 잘 되시길 바랍니다!!!!!
2023-06-24
지식공유자 J.PHIL
안녕하세요 컴매니아 대표님, 먼길 찾아와주셔서 제 강의를 들어주셔서 감사합니다. 회사를 운영하시느라 이곳저곳 신경쓰실일 많으실텐데 직접 파이프라인까지 설계에 대해서 관심을 갖고 실무에 들어간다는 것이 쉽지 않은 action인거를 알고 있습니다. 같이 시장이 어려운 시기 잘 헤쳐나갔으면 좋겠네요. 혹여나 도움될 일이 있으면 편하게 저에게 연락주시거나 여기 질문 등록해주세요 화이팅입니다.
2023-06-26
TY thumbnail
5
개발자로 근무하면서 빅데이터에 대한 막연한 궁금증으로 수강하게 되었습니다. 수강하면서 단순히 이론 설명이 아니라 전반적인 배경을 같이 강의해주셔서 보다 쉽게 이해할 수 있었습니다. 중간중간 실습도 자세하게 리드해주셔서 너무 좋았고요!! 아직 빅데이터가 무엇인지 모르고, 개발자로써 막연한 궁금증으로 시작한다면 지금 강의가 매우 유익할 거라고 생각됩니다!
2023-06-19
지식공유자 J.PHIL
안녕하세요 TY님, 소중한 피드백 감사합니다. 남은 강의도 열심히 수강해주셔서 많은 것들을 얻어가셨으면 좋겠습니다! 앞으로도 더욱 좋은 모습으로 찾아뵙겠습니다
2023-06-20
jadhvank thumbnail
5
대학교 4학년 1학기인 학생입니다. 저는 친구로부터 추천받아 취업 준비를 위해 데이터 엔지니어링 강의를 수강했는데 처음에는 기본 지식만으로는 접근하기 어려울 것 같아 걱정했지만, 강사님의 다양한 경험 덕분에 차근차근 따라갈 수 있었습니다. 빅데이터 파이프라인의 4가지 스텝에서 이론을 명확하게 다루고 실습도 유연하고 구체적으로 잘 가르쳐주셨습니다. 이 과정에서 면접 준비도 도와주셔서 면접에도 도움이 많이 되었습니다. 강의를 준비하시는 이론 강의도 기대돼요. 좋은 소식이 있으면 메일로 연락드리겠습니다. 처음으로 수강평을 남겨봅니다. 감사합니다.
2023-05-15
지식공유자 J.PHIL
안녕하세요 jadhvank 님, 도움이 많이 되었다고 하니 저도 기쁘네요. 앞으로도 궁금한 사항 있으시면 편하게 연락주세요. 면접에도 좋은 결과가 있기를 진심으로 바라겠습니다. 감사합니다
2023-05-17
dev thumbnail
5
막연하게만 느껴졌던 빅데이터 인데 강의를 듣고 개념이 잡히고 어떻게 활용할지 상상이 되기 시작했습니다. 강사님이 딕션도 좋으시고 강의 커리큘럼도 순차적으로 잘 흘러가네요. 좋은 강의 감사합니다!
2023-07-15
지식공유자 J.PHIL
안녕하세요 개발자 dev님, 제가 유의미하게 경험했던 내용들을 잘 정리해서 강의하였는데, 도움이 된다니 뿌듯합니다. 추후 복습하실 때도 편하게 들으면서 궁금한 점이 생기면 알려주세요.
2023-07-20