Inflearn brand logo image
Inflearn brand logo image
Inflearn brand logo image
Data Science

/

Data Engineering

ビッグデータ クラスタ構築パッケージ; 成功へのロードマップ

高可用性が保証されるビッグデータシステムまたは分散処理システムクラスター(HDFS、Zookeeper、Spark、Zeppelin)を直接構築するコードラボ中心の授業です。

  • jphil
cluster
클러스터
빅데이터
실습 중심
Big Data
Apache Spark
Hadoop
Data Engineering

学習した受講者のレビュー

こんなことが学べます

  • Big Data クラスターの設定

  • 分散ファイル OR プロセッシング システム

  • High Availability

  • Hadoop

  • HDFS

  • Apache Spark

  • Apache Zeppelin

  • Apache Zookeeper

  • AWS (EC2、AMI、セキュリティ グループ)

ビッグデータ分散クラスタをコードラップを通じて実際に構築してみる、
ビッグデータクラスタ構築パッケージ
👨🏻‍🎓

こんにちはJ.PHILです🍏

ある学期が流れて良い機会を迎えて、今シーズンにはビッグデータ分散クラスタを直接皆さんが構築してみるビッグデータクラスタ構築パッケージ講義を進行しようと思います📚

皆さんの声援に支えられ、過去の「ビッグデータパイプラインマスター」授業のインスピレーションをもとに「多少チャレンジすることができるが、他の方向に有意義な講義があるのではないか?」悩みの末に一汗一汗丁寧に対応講義を製作しました。

Keyword: Big Data Cluster, Distributed System, High Availability, Hadoop, HDFS, Apache Spark, Zookeeper, Zeppelin, AWS EC2 & AMI

なぜ私たちは講義を聞くべきですか?

約10年を超える時間の間、急進的な技術発展により、さまざまなプラットフォームやサービスが右吊筍で生まれ、これを通じて生活から派生する無数のデータが活用・分析され、私たちは質の高い生活を営んでいます。

以下の図1。同様に、国内の巨大企業だけでなく、世界の巨人企業も、Big Data StorageとBig Data Processingの重要性は公然と強調しており、多くのエンジニアに同様の分析と構築スキルセットを求めています。

001.png

002.png

しかし、私たちが実際に該当するINDUSTRYに入るまでは、事前にBIG DATA CLUSTERを直接構築してみたり、取り扱うことができる経験を得ることは容易ではありません。それで、いざ重要な価値を得る機会が来た時、これに対する経験不足で残念な結果を迎えることもできます。

私も研究員時代に「DATA TOPTIER CONFERENCE」論文を書く際に50代のビッグデータクラスターを直接構築しなければならず、メンバーたちに率先して犯さなければならない負担感と課金に対する大きなストレスに耐えながら、一晩中昼間を築き、ひたすらクラスターを作りました。

もちろん、その時の大切な経験でたくさん学んで前進するのに良い滋養分になりましたが、私は皆さんがこんなに時間をやや非効率的に使いたくありません。つまり、皆さんの貴重な約200時間をクラスターを構築するのに使うのではなく、効率的にクラスター上に実験や顧客データ分析をすることに専念することを期待し、その講義を制作しました📝

何よりも皆さんが現在の講義を聞いてクラスタ構築経験を積んだ後、私のように直接現業や大学院でビッグデータクラスタを構築する際に大いに役立つことを願って、その講義は無制限に解いたので参考にしてください💓

私たちは何を学びますか

📝

Data Top-Tier Conference 論文を汗をかいた経験

👨🏻‍💼

現業で得た貴重なビッグデータシステムの構築と分析経験

🧑🏻‍🏫

長い間、大学で良い弟子たちを養成した経験

このように貴重な経験をもとに、その分野であなたが⚔️強力な武器を作れるように

1.高可用性が保証される分散ファイルシステムHDFSの上(下記のDaemonの例を参照)

2. ビッグデータシステム系 Masterpiece、 Apache Spark 、ビッグデータ専用ノートPC Zeppelin

クラスタパッケージを理論的でしっかりしたコードラップを通じて直接構築してみる予定です。

image.png

上記の高可用性ファイルシステムデーモン構成は少し難しく見えますか?もともと常に最初に見ているアーキテクチャとシステム構成図は負担になります。

しかし、

約6年間、優れた弟子たちの大切なフィードバックを振り返り、過去2つのInflearn講義を立ち上げた経験で、受講生の皆さんの目の高さに合わせて、次々とひとつずつ容易にできるだけ簡単で質の高いコンテンツで構成したので、気軽に follow upしていただいても大丈夫です。

special thanks to my lovely students 👨🏻‍🎓

カリキュラムについて教えてください🧑🏻‍🏫

まさにCODELABから始まらず、高可用性クラスターを構築する際に必要な理論から学習します。そして、AWS環境やLinux環境に慣れていない受講生のためにガイド映像やバックグラウンド知識を勉強し、本格的に深いコードラップを進行する予定です😎

curri-1.jpg

ビッグデータOR分散処理に関心のある誰でも受講可能です🧑🏻‍🎓

練習環境はどうなりますか? 💻

下記のような気軽な環境をご用意いただいても、十分に授業に従うことができます。

  • OS:Ubuntu 20.04 LTS

  • Editor: Vim (up to your preference)

  • マシン仕様

    • AWS EC2 / c5.large ( 2 Core 4GB ) 4台または5台

詳しくは、Course Curriculum視聴お願いします😊

J.PHILについて 👨‍👨‍👧‍👦

image.png

こんな方に
おすすめです

学習対象は
誰でしょう?

  • ビッグデータ処理システムのクラスタ構築を実際に体験したい受講生

  • データ分析およびシステムに興味があり、その職務を希望する学生

  • 高可用性クラスターの実践を直接体験したい開発者

  • ビッグデータ分析および構築分野で強みを築きたい就職希望者

前提知識、
必要でしょうか?

  • Python 基本コーディング

  • Linux コマンドの基本知識

  • データベースの基本知識

こんにちは
です。

448

受講生

39

受講レビュー

50

回答

4.9

講座評価

2

講座

안녕하세요 J.PHIL 입니다 🧑🏻‍🎓

첫번째 강의로 [ 빅데이터 시스템 구축 및 분석에 관심있는 입문자 ] 를 위해
"Mastering Big Data Processing: Tools and Techniques for Success" 강의를 오픈 하였습니다.

'수업 및 프로필' 자세한 사항들은 수업 상세 페이지에 잘 작성했으니 참고 부탁드립니다  🙏🏻

カリキュラム

全体

36件 ∙ (4時間 51分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

19件

4.7

19件の受講レビュー

  • 귤껍데기님의 프로필 이미지
    귤껍데기

    受講レビュー 3

    平均評価 4.3

    5

    44% 受講後に作成

    내용이 알차고 처음 시작하기에 좋은 강의라고 생각되네요. 이런 강의를 준비해 주셔서 감사합니다.

    • one831님의 프로필 이미지
      one831

      受講レビュー 1

      平均評価 5.0

      5

      19% 受講後に作成

      곧 졸업을 앞둔, 데이터 엔지니어를 지망하는 컴공과 학생입니다. 취업 관련 포트폴리오를 만들면서, 빅데이터를 처리하기 위한 파이프라인 및 아키텍쳐를 어떻게 구성하고, 어떤 식으로 aws 환경을 설정하여 최대한 낮은 비용으로 효율적으로 이용할 수 있을지 고민이 많았었는데, 본 강의를 통해 엄청난 인사이트와 노하우들을 얻어갑니다. 특히, 빅데이터를 다루는 다양한 프레임워크들에 대한 많은 지식도 얻게 되어 앞으로 어느쪽으로 파고들수 있을지 영감을 얻은 것 같아 기쁩니다. 가뭄 끝에 단비를 만났습니다. 저와 같이 이쪽 분야를 지망하시는 학생분들께 수강 추천드립니다.

      • J.PHIL
        知識共有者

        안녕하세요 one831님, 소중한 수강평 감사드리며, 앞으로도 좋은 결과 있기를 바랍니다 화이팅입니다

    • 권영미님의 프로필 이미지
      권영미

      受講レビュー 3

      平均評価 5.0

      5

      100% 受講後に作成

      감사합니다!

      • J.PHIL
        知識共有者

        안녕하세요 권영미님, 소중한 수강평 감사드립니다! 화이팅입니다

    • Jason.king님의 프로필 이미지
      Jason.king

      受講レビュー 2

      平均評価 5.0

      5

      36% 受講後に作成

      이전에 파이프라인 강의를 듣고 본 강의를 듣고 있는데 머리속에 잘 들어와서 너무 좋아요~ 컴팩트하고 실무에 쓰일 강의 감사해요~ 이 강의도 금방 들어버릴 것 같은데 다른 강의도 있을지 기대됩니다.

      • 2일 걸렸네요. lab 형식이라 좀 빠르게 진행되고 , namenode 기동이 안되어서 삽질하느라 어려웠는데 (아마 어딘가 실수하여 그런듯) 나중에 보니 trouble shoot guide 부분에 기동절차 스크립트 및 로그 보는 부분 정리해 두셨네요. 이것도 봤다면 좀더 빨리 실수를 복구했을텐데 ㅜㅜ 혹시 진행하시는 분들은 모두 따라 치는 것보다는 한번 정독하고 따라하는 것도 좋을 것 같아요~ 강사님. 좋은 강의 매번 감사해요~

      • J.PHIL
        知識共有者

        안녕하세요 Jason.King 님, 제 이번 강의를 열심히 수강해주셔서 감사합니다 :) 때때로 버그나 trouble shooting을 직접 겪어보면서 고민해보고 복기해보는 것이 많이 도움이 될 때가 있을테니 오히려 이번 경험이 추후 큰 도움될거라 사료됩니다. 굵직한 오프소스를 직접 구축해보면 클러스터를 구축해보셨으니 다른 오프소스가 나와도 이제 빠른 시간에 잘 구축하실 수 있을겁니다. 앞으로도 화이팅입니다

    • Yeonwoo Jung님의 프로필 이미지
      Yeonwoo Jung

      受講レビュー 4

      平均評価 5.0

      5

      31% 受講後に作成

      이론 부터 코드랩까지 초기 입무자에게 정말 추천하는 강의 입니다!! 빅데이터 클러스터 구축 강의로 필수로 수강하길 추천합니다!!

      • J.PHIL
        知識共有者

        안녕하세요 Yeonwoo Jung님, 소중한 수강평 감사합니다. 기회될 때 하루이틀 투자하셔서 AWS 로 실습을 따라해보셔서 좋은 성과 있기를 바랍니다. 새해 복 많이 받으세요 :)

    ¥11,733

    jphilの他の講座

    知識共有者の他の講座を見てみましょう!

    似ている講座

    同じ分野の他の講座を見てみましょう!