BEST

데이터 사이언스

데이터 엔지니어링

빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술

Name: 빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술
Price: 99000 KRW

여러분들은 빅데이터 프로세싱의 4단계에 해당하는 [데이터 수집 ▶ 데이터 저장 ▶ 데이터 분석 ▶ 표현] 에 대한 내용을 이론 30% + 실습 70%으로 이루어진 코드랩 방식으로 보다 재밌고 체계적으로 학습합니다 🧑🏻‍🏫

(5.0) 수강평 20개

수강생 336명

J.PHIL

빅데이터

데이터처리

데이터분석

elk

elasticsearch

Elasticsearch Apache Spark Kibana Hadoop

먼저 경험한 수강생들의 후기

이런 걸 배울 수 있어요

Bigdata Processing Pipeline
Data Acquisition
Data Storage
Data Visualization
Data Analysis
Hadoop Distributed Filesystem
Spark Apache
ELK Stack (Elasticsearch)

실습 중심으로 알차게 배우는
빅데이터 파이프라인 마스터!

*_{special thanks to my lovely students 👨🏻‍🎓}** appreciate it, believe you'll do well anywhere 👩🏻‍🎓

데이터 처리 이론 및 실습
빅데이터 파이프라인의 핵심!

안녕하세요, J.PHIL 입니다 🙇🏻
좋은 기회를 맞이하여 인프런에서 첫 강의로 빅데이터 시스템 구축 및 분석에 관심있는 입문자를 위해 ‘데이터 처리 이론 및 실습’ 강의를 진행하게 되었습니다.

한눈에 보는 핵심 키워드

Mastering Big Data Processing: Tools and Techniques for Success

_{Distributed System}

_{Apache Spark}

_HDFS

_{Elasticsearch}

_Logstash

_Kibana

_Crawler

_Scraping

_Selenium

_{AWS S3}

_Node.js

_Docker

우리는 왜 이 강의를
들어야 할까요? 📚

최근 약 10년 동안의 급진적인 기술 발전으로 인해 다양한 플랫폼과 서비스가 생겨나고, 다양한 고객들이 그 위에서 질 높은 삶을 영위하고 있습니다. 이에 우후죽순으로 발생하는 데이터 가운데 많은 기업들이 그 중에서 가치 있는 데이터를 발굴하고 추출하여 BM(Business Model)을 설계함으로써 좀 더 우리에게 가치있는 삶을 제공하고 있습니다.

이런 환경에서 저희 엔지니어들👷🏻이 “감히 미래를 예측하고 대응한다면” What and How 준비해야 할까요? 바로 데이터를 관리하고 다루는 능력을 길러야 합니다. 역으로 여러분이 데이터를 잘 다루게 되고 더불어 잘 표현까지 할 수 있다면, 산업에 어떤 점들을 기여할 수 있을까요?

Data-driven decision-making

💡 빅데이터 분석을 통해 조직은 데이터 중심 의사 결정을 내릴 수 있으며, 이를 통해 비즈니스 결과를 개선할 수 있습니다.

Increased efficiency and productivity

💡 빅데이터 분석을 통해 조직은 운영을 간소화하고, 비용을 절감하며, 생산성을 높일 수 있습니다.

Innovation

💡 빅데이터 분석은 기업이 새로운 제품과 서비스를 개발하고, 기존 제품과 서비스를 개선하고, 새로운 비즈니스 모델을 만들 수 있도록 함으로써 혁신을 촉진할 수 있습니다.

그래서 이 강의는 어떻게
구성되어 있나요? 📑

📝

Data Top-Tier Conference 논문을 땀흘려 쓴 경험

👨🏻‍💼

현업에서 얻은 값진 빅데이터 시스템 구축 및 분석 경험

🧑🏻‍🏫

오랫동안 대학교에서 좋은 제자들을 양성한 경험

이처럼 값진 경험을 바탕으로, “이 분야에 관심있는 어느 누구에게나” 좋은 출발점이 될 수 있도록 빅데이터 프로세스의 4가지 단계에 대해 14주차 이상의 폭넓으면서도 알찬 과정으로 강의를 구성하였습니다 📚

여러분들은 위에 소개된 기술들을 이용하여 데이터 수집 ▶ 데이터 저장 ▶ 데이터 분석 ▶ 표현에 대하여 이론 30% 및 실습 70%의 코드랩 형식으로 학습합니다. 약 6년 동안 훌륭한 제자들의 소중한 피드백들 💌 회고하고 반영해, 최대한 쉽고 질 좋은 컨텐츠로 강의를 구성한 만큼 입문자 분들에게 반드시 큰 도움이 되실 겁니다.

아! 참고로 강의 자료는 추후 다양한 Reference를 찾거나 이 기회를 통해 Research 분야나 더 좋은 기업으로 가실때 도움을 드리기 위해 최대한 영문으로 작성했습니다 🧗🏻‍♀️

저희는 무엇을 배우나요? 🧑🏻‍🏫

위 Big Data Processing 4 Steps을 기반으로, 아래와 같이 커리큘럼을 구성하였습니다. (1주차 무료영상 참고)

빅데이터 파이프라인에 관심 있는
누구나 수강하실 수 있습니다 🧑🏻‍🎓

Python 및 Linux 명령어, 데이터베이스에 대한 기초 지식만 알고 있다면 누구나 수강할 수 있습니다.

[프로모션] 학생, 취준생분들께 강의 금액을 지원해드립니다 💪

수입이 없는 학생분 또는 취준생분에게 약 20% 할인을 제공합니다. 아래 링크로 신청해주시고 원활한 comm. 위해, 꼭 수강전 문의 탭에 " ${자기소개} 학생/취준생 [프로모션] 신청했습니다" 와 같이 로그 남겨주세요 :)
신청 링크 / 수강전 문의

[프로모션] +200 수강생 기념, 기간 연장 프로모션💪

+100명 프로모션 혜택을 받은 수강생분을 제외한, 신규 수강생분들에게 강의 3개월 무료 연장 프로모션을 진행합니다. 아래 링크를 통해 신청해주세요 :)
신청 링크

실습 환경은 어떻게 되나요? 💻

아래와 같이 부담없는 환경을 준비하셔도 충분히 수업을 따라오실 수 있습니다.
(실제 Cluster 구성은 현재 제작 중인 [초보] 이론 강의에서 진행할 예정입니다 🙏🏻)

OS: Ubuntu or Linux
Machine 사양
- Aws t2.medium 2 Core 4GB // ec2 free.tier 참석은 가능
- Virtualbox 이용하여 위 OS로 참석 가능

[입문자 DOCKER 강의] 프로모션 이벤트 😄

Docker 대하여 자세히 공부하고 싶은 분들은 [입문자를 위한 Docker 및 Dockerizing 마스터하기] 적극 추천합니다. [빅데이터 파이프라인 마스터] 수강하신 분들에게 프로모션* 적용해드립니다.

[빅데이터 클러스터 구축패키지] 런칭 프로모션 이벤트 🎓

탄탄한 코드랩으로 고가용성이 보장되는 빅데이터 클러스터 직접 구축하고 싶은 분에게 추천합니다. 옆 강의링크를 클릭후 [수강전 문의] 란에 "아이디 / 이메일 / 프로모션 신청합니다" 라고 남겨주세요.

이 강의를 만든 사람
J.PHIL을 소개합니다 ✒️

이런 분들께
추천드려요

학습 대상은
누구일까요?

빅데이터 처리 시스템 수업을 듣고 싶은 대학교 3,4학년 학생
데이터 분야 커리어에 관심있는 비전공 개발자
데이터 수집, 저장, 분석, 표현 관심있는 주니어 개발자
빅데이터 직무 면접을 앞둔 취업 준비생

선수 지식,
필요할까요?

Python 기초 코딩
Linux 명령어 기초 지식
Database 기초 지식

안녕하세요
입니다.

448

명

수강생

개

수강평

개

답변

4.9

점

강의 평점

개

강의

안녕하세요 J.PHIL 입니다 🧑🏻‍🎓

첫번째 강의로 [ 빅데이터 시스템 구축 및 분석에 관심있는 입문자 ] 를 위해
"Mastering Big Data Processing: Tools and Techniques for Success" 강의를 오픈 하였습니다.

'수업 및 프로필' 자세한 사항들은 수업 상세 페이지에 잘 작성했으니 참고 부탁드립니다 🙏🏻

커리큘럼

전체

57개 ∙ (14시간 9분)

해당 강의에서 제공:

수업자료

섹션 1. Introduction to Big Data

3개 ∙ (42분)

1. Greeting and Big Data
09:14
2. Characteristic Big Data and Examples
20:58
3. MyWorks and Curriculum 교과과정
12:41

섹션 2. Data Acquisition [Basic]

2개 ∙ (1시간 6분)

4. [이론] Crawling and Scraping
30:17
5. [실습] Crawling and Scraping (Urllib, BS4, Selenium)
36:22

섹션 3. Data Acquisition [Advanced]

6개 ∙ (1시간 17분)

6. [이론1] Crawling Recursive Way and Web API
25:15
7. [이론2] Crontab Scheduler and (Appendix) Proxy Server
16:08
8. [실습1] Crawling Recursive Way
16:07
9. [실습2] Selenium을 통해 LinkedIn 제어 및 Job 지원하기
07:25
10. [실습3] PUBLIC WEB API 제어하기
06:42
11. [실습4] Crontab 이용하여 Scheduler 만들기 (실시간 달러 환율 조회)
05:23

섹션 4. [Session] Git and Github

2개 ∙ (55분)

섹션 5. Data Storage [S3]

4개 ∙ (59분)

섹션 6. Data Storage [HDFS] 이론

4개 ∙ (1시간 7분)

섹션 7. Data Storage [HDFS] 실습

3개 ∙ (40분)

섹션 8. Data Analysis [Spark Basic]

8개 ∙ (54분)

섹션 9. Data Analysis [Explore Dataframe]

3개 ∙ (43분)

섹션 10. Data Analysis [Spark Advanced]

5개 ∙ (1시간 12분)

섹션 11. Data Visualization [NODE JS] 이론

2개 ∙ (39분)

섹션 12. Data Visualization [NODE JS] 실습

3개 ∙ (51분)

섹션 13. [Session] ELK 1, Elasticsearch

3개 ∙ (58분)

섹션 14. [Session] ELK 2, Kibana and Logstash

4개 ∙ (1시간 5분)

섹션 15. Special Lecture

4개 ∙ (46분)

섹션 16. Special Lecture <Docker>

1개 ∙ (6분)

강의 게시일:

마지막 업데이트일:

수강평

전체

20개

5.0

20개의 수강평

swmaclee8776
수강평 2
∙
평균 평점 5.0
5
91% 수강 후 작성
こんにちは先生！経営学を出て実務に取り掛かりたくて1年以上にわたって開発について勉強しています。周りで毎日ビッグデータビッグデータ処理という言葉をたくさん聞いてみると知りたいのですが、負担になります。一度与えられた時間が多くなく、最大限に集中して聞きましたが、残りの期間の間復習しながら、これを基に独自のプロジェクトも進めてみます~~~!!!たくさんのアドバイスをお願いします。ありがとうございます~~!!
- jphil
  지식공유자
  こんにちはMacさん、非専攻者の開発者であり、序盤にHurdleありましたが、高齢感謝して感謝しております。します。ありがとうございます。
outlier
수강평 3
∙
평균 평점 5.0
5
100% 수강 후 작성
漠然と感じたビッグデータです。講義を聞いて概念が取れ、どのように活用するか想像になり始めました。講師様がディクションも良く、講義カリキュラムも順次よく流れていますね。良い講義ありがとうございます！
- jphil
  지식공유자
  こんにちは開発者dev、私が有意義に経験した内容をよく整理して講義しましたが、役に立つと思います。今後の復習の際も気軽に聞きながら気になる点が生じたら教えてください。
snu
수강평 1
∙
평균 평점 5.0
5
28% 수강 후 작성
現在、インテリアスタートアップ運営中です！以前は直接サーバー運営およびデータ分析を知らなくても良いですが、近年のデータを運営する観点や方向性について知っておくべきだと思い、偶然周りの推薦で聞いています。ありがとうございました。知人にもオススメしてみましょうね。
- jphil
  지식공유자
  こんにちはコンマニア代表、遠くに来てくれて私の講義を聞いてくれてありがとう。会社を運営しているので、あちこち気になることが多いはずですが、直接パイプラインまで設計に関心を持って実務に入るというのが容易ではないアクションであることを知っています。一緒に市場が難しい時期よく乗り越えてほしいですね。もし助けになることがあれば楽に私に連絡していただくか、こちらの質問登録してくださいファイティングです。
ntying7520
수강평 1
∙
평균 평점 5.0
5
12% 수강 후 작성
開発者として勤務し、ビッグデータに対する漠然とした不思議に受講することになりました。受講しながら単に理論の説明ではなく、全体的な背景を一緒に講義していただき、より簡単に理解できました。中途中の実習も詳しくリードしてくれてとても良かったですよ！まだビッグデータが何なのかわからず、開発者として漠然とした気になることから始めたら今講義がとてもお得だと思われます！
- jphil
  지식공유자
  こんにちはTY、大切なフィードバックありがとうございます。残りの講義も一生懸命受講していただき、多くのことを得ていただきたいです！これからももっと良い姿でお会いしましょう
jasonking
수강평 2
∙
평균 평점 5.0
5
65% 수강 후 작성
講師。楽しい講義ありがとうございます。最近、インフラの講義はうまくいかず、ミッドより楽しく現在の講義を見ています。小さな量の時間に本当にぎっしり押し込んだノウハウを最大限集約した講義だと思います。もっと深くした講義を次に作っていただければ（プロジェクト性、HDFS/Spark、aws data analiticsのようなものでプロジェクトをする……）本当に完璧になりそうです。今講義も大いに助けられました。退屈だと思いましたが、楽しいです。全体的なデータプラットフォームの活用方法を知りたい開発者の方は、この講義を聞いてみてください。いつの間にか、このような文章を書くのに役立って書いてみます。個人的にちょっと残念なのは期間が4ヶ月だから…また見たいときに見られないのがとても残念です。（もしかしたら延長イベントのようなものはないでしょうか講師男。 -_-;;;）私はもう一度見て数ヶ月あり、もう一度見ます。そうしてこそ頭に刻印されて忘れられません。
- jphil
  지식공유자
  こんにちはjason.kingさん、大切で細かい受講評価ありがとうございます。ミッドより面白いと言うので、10年前に一人でhow I met your motherを見ながら英語独学をしたと思います。 4ヶ月期間に設定したのは序盤に製作当時の韓学期基準で期限制限を通じて受講生の方が集中して聞いていただくために設定しました。講義を一生懸命聞いてくださる方に限って部分延長プロモーション進行していますので、期限が近づいたり、越えた時に楽に教えてください。感謝した受講評のおかげで講義がより広く知られているようで気持ちが良く、暖かく楽しい週末になることを願っています。

₩99,000

J.PHIL님의 다른 강의

지식공유자님의 다른 강의를 만나보세요!

ビッグデータクラスタ構築パッケージ; 成功へのロードマップ

jphil

高可用性が保証されるビッグデータシステムまたは分散処理システムクラスター（HDFS、Zookeeper、Spark、Zeppelin）を直接構築するコードラボ中心の授業です。

초급

Big Data, Apache Spark, Hadoop

ビッグデータクラスタ構築パッケージ; 成功へのロードマップ

jphil

비슷한 강의

같은 분야의 다른 강의를 만나보세요!

Kafka & Spark を活用したリアルタイムデータレイク

hyunjinkim

初心者のための Kafka & Spark リアルタイムパイプライン入門講座。コアコンセプトからアーキテクチャまでマスターするためのオールインワン講座です。

초급

Kafka, Apache Spark, pyspark

Kafka & Spark を活用したリアルタイムデータレイク

hyunjinkim

ビッグデータクラスタ構築パッケージ; 成功へのロードマップ

jphil

초급

Big Data, Apache Spark, Hadoop

ビッグデータクラスタ構築パッケージ; 成功へのロードマップ

jphil

Rを活用したビッグデータ及び統計分析

kpcre

Rプログラミングを利用して、誰でもビッグデータ分析ができるように、データの基本的な概念、Rの有用な関数とパッケージ、データ分析の実習を盛り込みました。

입문

R, Big Data

Rを活用したビッグデータ及び統計分析

kpcre

知らないと退職レベル？データエンジニアリングの定石

altoformula

データ時代、真の価値を発見せよ！📊 データに集中したアプリケーション設計は、もはや必須となりました。最新トレンドと実務中心の事例で、会社が求めるインサイトと実力を身につけましょう。効率的なデータ処理と設計の秘訣、今すぐ始めましょう！あなたの次のステップ、データ中心の世界へ飛躍しましょう！

초급

Big Data, Data Engineering, Architecture

知らないと退職レベル？データエンジニアリングの定石

altoformula

[無料]基礎テキストマイニング：アプリレビュー分析 with Python（40分完成）

leejinkyu0612

この講義では、Pythonを活用したテキストマイニング分析に関する基礎理論と実習を学ぶことができます。実務や論文作成時に必要な基礎的なテキストマイニングデータ分析手法を説明します。

초급

Text Mining, Big Data, NLP

[無料]基礎テキストマイニング：アプリレビュー分析 with Python（40分完成）

leejinkyu0612

[2025] SQLD問題が難しいあなたのためのノランイ176問題解説

datacodelab

勉強はしたが問題を解けないあなたへのSQLD ノレンイ 176問題解説講座。完講後、合格を超え専門家になります。 SQLD オールインワンパス！

초급

SQL, SQLD, Big Data

[2025] SQLD問題が難しいあなたのためのノランイ176問題解説

datacodelab

Logpresso Enterprise - ダッシュボード

logpresso

このコースでは、Logpresso を使用してクエリを使用してダッシュボードを構成する方法について説明します。リアルタイムデータを視覚化し、アラートを実行し、必要に応じてドリルダウンやフィルタリングを動的に実行できる機能について説明します。

초급

Big Data

Logpresso Enterprise - ダッシュボード

logpresso

シリコンバレーのエンジニアとElasticsearch

altoformula

急速に成長しているIT現場で、データ検索と分析の核となる技術、Elasticsearchを学んでみませんか？実践的な演習と合わせて、複雑な検索を簡単に解決する方法をお教えします。デジタル能力をさらにアップグレードする準備はできていますか？

초급

Elasticsearch, searching, full-text-search

シリコンバレーのエンジニアとElasticsearch

altoformula

ElasticSearch Essential

alden

ElasticSearch クラスターを運営するために必ず知っておく必要がある内部動作の理解、監視方法、事例に基づくトラブルシューティング方法を教える講義です。このレッスンにより、ElasticSearchクラスタをより確実に運用できます。

초급

Elasticsearch

ElasticSearch Essential

alden

データ入門者のためのAzureデータ基礎完全攻略

daniellee

Microsoft AZ-900資格を同時に目指し、理論的土台を築く特講であり、2025年5月基準の出題範囲を反映した最新コンテンツとして、コアデータ概念、Azureのリレーショナルデータ、Azureの非リレーショナルデータ、Azureの分析ワークロード関連内容を、理論と実習を兼ねた形で提供することで、資格取得はもちろん、データ専門家への第一歩を踏み出す有意義な教育機会として活用可能です。

입문

SQL, Big Data, Data Engineering

データ入門者のためのAzureデータ基礎完全攻略

daniellee

[管理コース＃3] DE、DBA（SSIS、SSAS、MachineLearning、BI、ETL）

vmproductor0202

SSIS、SSAS、MachineLearning、BI、ETL。国内の書籍、YouTube、講義、ブログ、学園で見られない重要な技術を学ぶことができます。国内の大企業、米国の大企業、米国の州政府の資金援助機関の就職に興味のある方にもおすすめです。

초급

Big Data, ssis, ssas

[管理コース＃3] DE、DBA（SSIS、SSAS、MachineLearning、BI、ETL）

vmproductor0202

빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술

먼저 경험한 수강생들의 후기

이런 걸 배울 수 있어요

special thanks to my lovely students 👨🏻‍🎓* appreciate it, believe you'll do well anywhere 👩🏻‍🎓

데이터 처리 이론 및 실습 빅데이터 파이프라인의 핵심!

한눈에 보는 핵심 키워드

Mastering Big Data Processing: Tools and Techniques for Success

우리는 왜 이 강의를 들어야 할까요? 📚

그래서 이 강의는 어떻게 구성되어 있나요? 📑

저희는 무엇을 배우나요? 🧑🏻‍🏫

빅데이터 파이프라인에 관심 있는 누구나 수강하실 수 있습니다 🧑🏻‍🎓

[프로모션] 학생, 취준생분들께 강의 금액을 지원해드립니다 💪

[프로모션] +200 수강생 기념, 기간 연장 프로모션💪

실습 환경은 어떻게 되나요? 💻

[입문자 DOCKER 강의] 프로모션 이벤트 😄

[빅데이터 클러스터 구축패키지] 런칭 프로모션 이벤트 🎓

이 강의를 만든 사람 J.PHIL을 소개합니다 ✒️

이런 분들께 추천드려요

안녕하세요 .css-1q3zd4q{text-decoration-line:underline;text-underline-position:under;text-underline-offset:1px;}입니다.

안녕하세요 J.PHIL 입니다 🧑🏻‍🎓

커리큘럼

수강평

J.PHIL님의 다른 강의

비슷한 강의

*_{special thanks to my lovely students 👨🏻‍🎓}** appreciate it, believe you'll do well anywhere 👩🏻‍🎓

데이터 처리 이론 및 실습
빅데이터 파이프라인의 핵심!

우리는 왜 이 강의를
들어야 할까요? 📚

그래서 이 강의는 어떻게
구성되어 있나요? 📑

빅데이터 파이프라인에 관심 있는
누구나 수강하실 수 있습니다 🧑🏻‍🎓

이 강의를 만든 사람
J.PHIL을 소개합니다 ✒️

이런 분들께
추천드려요

안녕하세요
입니다.