Data Science

Data Engineering

ビッグデータクラスタ構築パッケージ; 成功へのロードマップ

Name: ビッグデータ クラスタ構築パッケージ; 成功へのロードマップ
Price: 99000 KRW

高可用性が保証されるビッグデータシステムまたは分散処理システムクラスター（HDFS、Zookeeper、Spark、Zeppelin）を直接構築するコードラボ中心の授業です。

（4.7）受講レビュー 19件

受講生 112名

jphil

cluster

클러스터

빅데이터

실습 중심

Big Data

Apache Spark

Hadoop

Data Engineering

学習した受講者のレビュー

こんなことが学べます

Big Data クラスターの設定
分散ファイル OR プロセッシングシステム
High Availability
Hadoop
HDFS
Apache Spark
Apache Zeppelin
Apache Zookeeper
AWS (EC2、AMI、セキュリティグループ)

こんにちはJ.PHILです🍏

ある学期が流れて良い機会を迎えて、今シーズンにはビッグデータ分散クラスタを直接皆さんが構築してみる「ビッグデータクラスタ構築パッケージ」講義を進行しようと思います📚

皆さんの声援に支えられ、過去の「ビッグデータパイプラインマスター」授業のインスピレーションをもとに「多少チャレンジすることができるが、他の方向に有意義な講義があるのではないか？」悩みの末に一汗一汗丁寧に対応講義を製作しました。

Keyword: Big Data Cluster, Distributed System, High Availability, Hadoop, HDFS, Apache Spark, Zookeeper, Zeppelin, AWS EC2 & AMI

なぜ私たちは講義を聞くべきですか？

約10年を超える時間の間、急進的な技術発展により、さまざまなプラットフォームやサービスが右吊筍で生まれ、これを通じて生活から派生する無数のデータが活用・分析され、私たちは質の高い生活を営んでいます。

以下の図1。同様に、国内の巨大企業だけでなく、世界の巨人企業も、Big Data StorageとBig Data Processingの重要性は公然と強調しており、多くのエンジニアに同様の分析と構築スキルセットを求めています。

しかし、私たちが実際に該当するINDUSTRYに入るまでは、事前にBIG DATA CLUSTERを直接構築してみたり、取り扱うことができる経験を得ることは容易ではありません。それで、いざ重要な価値を得る機会が来た時、これに対する経験不足で残念な結果を迎えることもできます。

私も研究員時代に「DATA TOPTIER CONFERENCE」論文を書く際に50代のビッグデータクラスターを直接構築しなければならず、メンバーたちに率先して犯さなければならない負担感と課金に対する大きなストレスに耐えながら、一晩中昼間を築き、ひたすらクラスターを作りました。

もちろん、その時の大切な経験でたくさん学んで前進するのに良い滋養分になりましたが、私は皆さんがこんなに時間をやや非効率的に使いたくありません。つまり、皆さんの貴重な約200時間をクラスターを構築するのに使うのではなく、効率的にクラスター上に実験や顧客データ分析をすることに専念することを期待し、その講義を制作しました📝

何よりも皆さんが現在の講義を聞いてクラスタ構築経験を積んだ後、私のように直接現業や大学院でビッグデータクラスタを構築する際に大いに役立つことを願って、その講義は無制限に解いたので参考にしてください💓

クラスタパッケージを理論的でしっかりしたコードラップを通じて直接構築してみる予定です。

上記の高可用性ファイルシステムデーモン構成は少し難しく見えますか？もともと常に最初に見ているアーキテクチャとシステム構成図は負担になります。

しかし、

約6年間、優れた弟子たちの大切なフィードバックを振り返り、過去2つのInflearn講義を立ち上げた経験で、受講生の皆さんの目の高さに合わせて、次々とひとつずつ容易にできるだけ簡単で質の高いコンテンツで構成したので、気軽に follow upしていただいても大丈夫です。

special thanks to my lovely students 👨🏻‍🎓

こんな方に
おすすめです

学習対象は
誰でしょう？

ビッグデータ処理システムのクラスタ構築を実際に体験したい受講生
データ分析およびシステムに興味があり、その職務を希望する学生
高可用性クラスターの実践を直接体験したい開発者
ビッグデータ分析および構築分野で強みを築きたい就職希望者

前提知識、
必要でしょうか？

Python 基本コーディング
Linux コマンドの基本知識
データベースの基本知識

こんにちは
です。

448

受講生

受講レビュー

回答

4.9

講座評価

講座

안녕하세요 J.PHIL 입니다 🧑🏻‍🎓

첫번째 강의로 [ 빅데이터 시스템 구축 및 분석에 관심있는 입문자 ] 를 위해
"Mastering Big Data Processing: Tools and Techniques for Success" 강의를 오픈 하였습니다.

'수업 및 프로필' 자세한 사항들은 수업 상세 페이지에 잘 작성했으니 참고 부탁드립니다 🙏🏻

カリキュラム

全体

36件 ∙ (4時間 51分)

講座資料（こうぎしりょう）:

授業資料

セクション 1．Introduction to Course

3件 ∙ (22分)

セクション 2．理論] Distributed File System

1件 ∙ (9分)

4. All About Distributed System 😉
09:26

セクション 3．理論] Intro to Big Data Frameworks

2件 ∙ (17分)

5. Framework 1 and 2] Hadoop (HDFS + Yarn) and SPARK
13:41
6. Framework 3 and 4] Zookeeper (分散コーディネーター) and Zeppelin (ビッグデータノート)
04:18

セクション 4．理論] About SPOF and High Availability (高可用性)

1件 ∙ (6分)

セクション 5．理論] About HDFS Federation

1件 ∙ (4分)

セクション 6．理論] Final Wrap Up

1件 ∙ (4分)

セクション 7．理論] Background before CODELAB :)

1件 ∙ (5分)

セクション 8．コードラップ-1] Introduction to Codelab

1件 ∙ (4分)

セクション 9．コードラップ-2] Launch Base Node and Install Essential Settings

2件 ∙ (20分)

セクション 10．コードラップ-4] Create 5 Nodes by My AMI

2件 ∙ (19分)

セクション 11．コードラップ-5] All About Hadoop Setup

2件 ∙ (20分)

セクション 12．コードラップ-6] All About Zookeeper Setup

1件 ∙ (5分)

セクション 13．コードラップ-7] Clone Frameworks to Other Nodes

1件 ∙ (5分)

セクション 14．コードラップ-8] Start and Demo Hadoop and Zookeeper Daemons

2件 ∙ (22分)

セクション 15．コードラップ-9] All About WEB UI Setup

1件 ∙ (7分)

セクション 16．コードラップ-10] All About Spark Setup and Demo Spark Job

2件 ∙ (10分)

セクション 17．コードラップ-11] Demo Automatic Failover on HDFS High Availability

1件 ∙ (6分)

セクション 18．コードラップ-12] Zeppelin Setup and Demo on Big Data Cluster

4件 ∙ (23分)

セクション 19．コードラップ] Final Wrapup 😊

6件 ∙ (1時間 12分)

セクション 20．閉じる＆amp; Promotion 👩🏼‍💻

1件 ∙ (3分)

講座掲載日:

最終更新日:

受講レビュー

全体

19件

4.7

19件の受講レビュー

귤껍데기
受講レビュー 3
∙
平均評価 4.3
5
44% 受講後に作成
Tôi nghĩ đây là một khóa học có nội dung phong phú và phù hợp để bắt đầu. Cảm ơn bạn đã chuẩn bị khóa học này.
won831
受講レビュー 1
∙
平均評価 5.0
5
19% 受講後に作成
Tôi là sinh viên kỹ thuật máy tính sắp tốt nghiệp và mong muốn trở thành kỹ sư dữ liệu. Trong khi tạo danh mục đầu tư liên quan đến công việc, tôi có rất nhiều lo lắng về cách định cấu hình quy trình và kiến trúc để xử lý dữ liệu lớn cũng như cách thiết lập môi trường AWS để sử dụng nó một cách hiệu quả với chi phí thấp nhất có thể. bài giảng này và đạt được bí quyết. Đặc biệt, tôi rất vui vì mình đã thu được nhiều kiến thức về các framework khác nhau xử lý dữ liệu lớn và nhận được nguồn cảm hứng về nơi tôi có thể nghiên cứu sâu hơn trong tương lai. Sau cơn hạn hán, ta gặp cơn mưa ngọt ngào. Tôi giới thiệu khóa học này cho những sinh viên quan tâm đến lĩnh vực này như tôi.
- jphil
  知識共有者
  Xin chào one831, Cảm ơn đánh giá có giá trị của bạn. Tôi hy vọng bạn có kết quả tốt trong tương lai.
youngmikwon
受講レビュー 3
∙
平均評価 5.0
5
100% 受講後に作成
Cảm ơn!
- jphil
  知識共有者
  Xin chào Youngmi Kwon, Cảm ơn bạn đã đánh giá có giá trị của bạn! Chiến đấu!
jasonking
受講レビュー 2
∙
平均評価 5.0
5
36% 受講後に作成
Tôi đã nghe bài giảng này sau khi tham gia một bài giảng về quy trình trước đó, và tôi rất vui vì nó đọng lại trong đầu tôi ~ Cảm ơn bài giảng cô đọng và thiết thực. Tôi nghĩ tôi sẽ học xong bài giảng này một cách nhanh chóng, nhưng tôi rất mong được xem liệu còn có những bài giảng khác nữa không.
- jasonking
  Phải mất 2 ngày. Vì là dạng lab nên tiến triển hơi nhanh, nhưng rất khó để đào sâu vì namenode chưa khởi động (chắc do mình nhầm ở đâu đó). Sau này, tôi phát hiện ra rằng phần hướng dẫn xử lý sự cố đã tóm tắt kịch bản quy trình khởi động và phần xem nhật ký. Nếu tôi cũng nhìn thấy điều này, tôi đã có thể sửa chữa lỗi lầm của mình sớm hơn. Nếu bạn đang trải qua quá trình này, tôi nghĩ sẽ tốt hơn nếu bạn đọc kỹ và làm theo thay vì cố gắng sao chép mọi thứ. Người hướng dẫn. Cảm ơn bạn vì mỗi bài giảng hay ~
- jphil
  知識共有者
  Xin chào Jason.King, Cảm ơn bạn đã tham dự bài giảng của tôi :) Đôi khi việc suy nghĩ và cố gắng khắc phục khi gặp lỗi hoặc gặp khó khăn khi tự chụp sẽ rất hữu ích, vì vậy tôi nghĩ trải nghiệm này sẽ giúp ích rất nhiều trong tương lai. Nếu bạn tự xây dựng một nguồn mở chính, bạn sẽ có thể xây dựng một cụm trong thời gian ngắn ngay cả khi các nguồn mở khác xuất hiện. Tương lai cũng sẽ chiến đấu
upgleman8112423674
受講レビュー 4
∙
平均評価 5.0
5
31% 受講後に作成
Từ lý thuyết đến phòng thực hành mã, đây là khóa học tôi đặc biệt giới thiệu cho người mới bắt đầu!! Tôi khuyên bạn nên tham gia khóa học xây dựng cụm dữ liệu lớn cần thiết này!!
- jphil
  知識共有者
  Xin chào Yeonwoo Jung, Cảm ơn bạn đã đánh giá có giá trị của bạn. Nếu bạn có cơ hội, hãy đầu tư một hoặc hai ngày và thử thực hành AWS, tôi hy vọng bạn sẽ thấy kết quả tốt. CHÚC MỪNG NĂM MỚI :)

￥11,773

jphilの他の講座

知識共有者の他の講座を見てみましょう！

Big Data Pipeline Master; Công cụ và kỹ thuật để đạt được thành công

jphil

Các bạn sẽ học về 4 giai đoạn của quá trình xử lý dữ liệu lớn [Thu thập dữ liệu ▶ Lưu trữ dữ liệu ▶ Phân tích dữ liệu ▶ Biểu diễn] theo phương pháp codelab kết hợp lý thuyết 30% + thực hành 70% một cách thú vị và có hệ thống hơn 🧑🏻‍🏫

초급

Big Data, Elasticsearch, Apache Spark

Big Data Pipeline Master; Công cụ và kỹ thuật để đạt được thành công

jphil

似ている講座

同じ分野の他の講座を見てみましょう！

Big Data Pipeline Master; Công cụ và kỹ thuật để đạt được thành công

jphil

초급

Big Data, Elasticsearch, Apache Spark

Big Data Pipeline Master; Công cụ và kỹ thuật để đạt được thành công

jphil

Apache Airflow cùng với các kỹ sư Thung lũng Silicon

altoformula

Bạn sẽ được học Apache Airflow, công cụ Orchestrator được sử dụng nhiều nhất khi tạo đường ống dữ liệu phần mềm.

초급

airflow, Big Data, Data Engineering

Apache Airflow cùng với các kỹ sư Thung lũng Silicon

altoformula

Phân tích dữ liệu SQL Fundamentals

dooleyz3525

SQL là một trong những yếu tố cốt lõi của phân tích dữ liệu. Thông qua các bài giảng và thực hành chi tiết về các yếu tố cốt lõi của SQL, chúng tôi sẽ giúp bạn xây dựng nền tảng vững chắc để trở thành chuyên gia phân tích dữ liệu SQL.

초급

SQL, PostgreSQL, DBMS/RDBMS

Phân tích dữ liệu SQL Fundamentals

dooleyz3525

[Gia hạn] Bootcamp cơ sở dữ liệu MongoDB(몽고DB) và NoSQL(빅데이터) cho người mới bắt đầu [Từ nhập môn đến ứng dụng] (Cập nhật)

funcoding

Bạn sẽ học kỹ thuật NoSQL để xử lý Big Data, một trong những kỹ thuật cơ bản của Full-stack và Khoa học dữ liệu được sử dụng trong các Startup mới nhất. MongoDB là kỹ thuật dễ nhất và có thể ứng dụng nhanh nhất trong số các công nghệ NoSQL. Trong khóa học này, bạn sẽ nắm vững kiến thức cơ bản về MongoDB trong thời gian ngắn và học cả kỹ thuật xử lý, ứng dụng MongoDB bằng Python.

초급

Python, MongoDB, DBMS/RDBMS

[Gia hạn] Bootcamp cơ sở dữ liệu MongoDB(몽고DB) và NoSQL(빅데이터) cho người mới bắt đầu [Từ nhập môn đến ứng dụng] (Cập nhật)

funcoding

Cơ sở dữ liệu MariaDB

vmproductor0202

Đây là khóa học tìm hiểu về MariaDB, một cơ sở dữ liệu có thể được sử dụng miễn phí cho mục đích thương mại. Ngay cả khi bạn đang học cơ sở dữ liệu lần đầu tiên, nó vẫn rất dễ học.

입문

DBMS/RDBMS, MariaDB, Data Engineering

Cơ sở dữ liệu MariaDB

vmproductor0202

Phân tích dữ liệu lớn và thống kê sử dụng R

kpcre

Bao gồm các khái niệm cơ bản về dữ liệu, các hàm và gói hữu ích của R, cùng bài thực hành phân tích dữ liệu, giúp mọi người có thể phân tích dữ liệu lớn bằng lập trình R.

입문

R, Big Data

Phân tích dữ liệu lớn và thống kê sử dụng R

kpcre

Không biết thì auto nghỉ việc? Chuẩn mực kỹ thuật Data Engineering

altoformula

Thời đại dữ liệu, hãy khám phá giá trị đích thực! 📊 Thiết kế ứng dụng tập trung vào dữ liệu giờ đây đã trở thành điều cần thiết. Hãy trau dồi kiến thức chuyên môn và kỹ năng mà công ty bạn mong muốn thông qua các xu hướng mới nhất và các trường hợp thực tế tập trung vào thực hành. Bí quyết xử lý và thiết kế dữ liệu hiệu quả, hãy bắt đầu ngay bây giờ! Bước tiếp theo của bạn, hãy nhảy vọt vào thế giới lấy dữ liệu làm trung tâm!

초급

Big Data, Data Engineering, Architecture

Không biết thì auto nghỉ việc? Chuẩn mực kỹ thuật Data Engineering

altoformula

Từ những điều cơ bản về mongoDB đến công việc thực tế (feat. Node.js)

sihoon

mongoDB, NoSQL ngày nay được nhắc đến rất nhiều, nhưng liệu nó có còn là một cơ sở dữ liệu xa lạ không? Bạn có đang sử dụng nó như một cơ sở dữ liệu quan hệ (RDS/SQL) không? Ngay cả công nghệ tốt nhất cũng có thể phản tác dụng nếu không được sử dụng đúng cách. Đó là lý do chúng ta thường thấy những trường hợp thất bại khi sử dụng MongoDB. Bài giảng này sẽ dạy cho bạn mọi thứ, từ các khái niệm cơ bản đến bí quyết thực tế để bạn có thể sử dụng mongoDB nhiều nhất có thể.

초급

MongoDB, REST API, Node.js

Từ những điều cơ bản về mongoDB đến công việc thực tế (feat. Node.js)

sihoon

SQL cơ bản được chia sẻ bởi nhà lãnh đạo dữ liệu Thung lũng Silicon

keeyonghan9539

Nếu bạn làm việc với dữ liệu, SQL là một kỹ năng cơ bản cần phải biết. Trong khóa học này, chúng ta sẽ học SQL từ góc độ phân tích dữ liệu, tập trung vào thực hành. Chúng ta sẽ thực hành với DuckDB trong Google Colab.

초급

SQL, Data literacy, Data Engineering

SQL cơ bản được chia sẻ bởi nhà lãnh đạo dữ liệu Thung lũng Silicon

keeyonghan9539

[Miễn phí]Khai thác văn bản cơ bản: Phân tích đánh giá ứng dụng với Python(hoàn thành trong 40 phút)

leejinkyu0612

Khóa học này giúp bạn học lý thuyết cơ bản và thực hành phân tích khai thác văn bản với Python. Nó giải thích các kỹ thuật phân tích dữ liệu khai thác văn bản cơ bản cần thiết cho công việc thực tế hoặc luận văn.

초급

Text Mining, Big Data, NLP

[Miễn phí]Khai thác văn bản cơ bản: Phân tích đánh giá ứng dụng với Python(hoàn thành trong 40 phút)

leejinkyu0612

Làm chủ hoàn toàn Azure 데이터 기초 dành cho người mới bắt đầu với dữ liệu

daniellee

Buổi học chuyên sâu này là nội dung cập nhật mới nhất, phản ánh phạm vi ra đề thi Microsoft AZ-900 tính đến tháng 5 năm 2025, được thiết kế để xây dựng nền tảng lý thuyết vững chắc nhằm đồng thời chuẩn bị cho chứng chỉ này, cung cấp các kiến thức liên quan đến khái niệm dữ liệu cốt lõi, dữ liệu quan hệ Azure, dữ liệu phi quan hệ Azure và khối lượng công việc phân tích Azure dưới hình thức kết hợp lý thuyết và thực hành, qua đó trở thành một cơ hội giáo dục ý nghĩa không chỉ giúp bạn đạt được chứng chỉ mà còn đặt những bước chân đầu tiên trên con đường trở thành chuyên gia dữ liệu.

입문

SQL, Big Data, Data Engineering

Làm chủ hoàn toàn Azure 데이터 기초 dành cho người mới bắt đầu với dữ liệu

daniellee

[2025] Giải 176 bài tập SQLD dành cho bạn gặp khó khăn với đề thi SQLD

datacodelab

Khóa học giải 176 bài tập SQLD '노랭이' dành cho bạn đã học nhưng không giải được bài tập. Sau khi hoàn thành khóa học, bạn sẽ vượt qua kỳ thi và trở thành chuyên gia. Gói All-in-one SQLD!

초급

SQL, SQLD, Big Data

[2025] Giải 176 bài tập SQLD dành cho bạn gặp khó khăn với đề thi SQLD

datacodelab

Môi trường Docker và CI để học hỏi bằng cách làm theo [bản cập nhật 2023.11]

johnahn

Thông qua bài giảng này, bạn có thể tìm hiểu về Docker và định cấu hình môi trường CI.

초급

GitHub, AWS, Docker

Môi trường Docker và CI để học hỏi bằng cách làm theo [bản cập nhật 2023.11]

johnahn

ビッグデータクラスタ構築パッケージ; 成功へのロードマップ

学習した受講者のレビュー

こんなことが学べます

こんにちはJ.PHILです🍏

なぜ私たちは講義を聞くべきですか？

私たちは何を学びますか？

しかし、

カリキュラムについて教えてください🧑🏻‍🏫

ビッグデータOR分散処理に関心のある誰でも受講可能です🧑🏻‍🎓

練習環境はどうなりますか？ 💻

J.PHILについて 👨‍👨‍👧‍👦

こんな方に
おすすめです

こんにちは
です。

안녕하세요 J.PHIL 입니다 🧑🏻‍🎓

カリキュラム

受講レビュー

jphilの他の講座

似ている講座

ビッグデータ クラスタ構築パッケージ; 成功へのロードマップ

学習した受講者のレビュー

こんなことが学べます

こんにちはJ.PHILです🍏

なぜ私たちは講義を聞くべきですか？

私たちは何を学びますか？

しかし、

カリキュラムについて教えてください🧑🏻‍🏫

ビッグデータOR分散処理に関心のある誰でも受講可能です🧑🏻‍🎓

練習環境はどうなりますか？ 💻

J.PHILについて 👨‍👨‍👧‍👦

こんな方に おすすめです

こんにちは .css-1q3zd4q{text-decoration-line:underline;text-underline-position:under;text-underline-offset:1px;}です。

안녕하세요 J.PHIL 입니다 🧑🏻‍🎓

カリキュラム

受講レビュー

jphilの他の講座

似ている講座

ビッグデータクラスタ構築パッケージ; 成功へのロードマップ

こんな方に
おすすめです

こんにちは
です。