강의

멘토링

커뮤니티

Data Science

/

Data Engineering

ビッグデータ クラスタ構築パッケージ; 成功へのロードマップ

高可用性が保証されるビッグデータシステムまたは分散処理システムクラスター(HDFS、Zookeeper、Spark、Zeppelin)を直接構築するコードラボ中心の授業です。

  • jphil
cluster
클러스터
빅데이터
실습 중심
Big Data
Apache Spark
Hadoop
Data Engineering

学習した受講者のレビュー

受講後に得られること

  • Big Data クラスターの設定

  • 分散ファイル OR プロセッシング システム

  • High Availability

  • Hadoop

  • HDFS

  • Apache Spark

  • Apache Zeppelin

  • Apache Zookeeper

  • AWS (EC2、AMI、セキュリティ グループ)

ビッグデータ分散クラスタをコードラップを通じて実際に構築してみる、
ビッグデータクラスタ構築パッケージ
👨🏻‍🎓

こんにちはJ.PHILです🍏

ある学期が流れて良い機会を迎えて、今シーズンにはビッグデータ分散クラスタを直接皆さんが構築してみるビッグデータクラスタ構築パッケージ講義を進行しようと思います📚

皆さんの声援に支えられ、過去の「ビッグデータパイプラインマスター」授業のインスピレーションをもとに「多少チャレンジすることができるが、他の方向に有意義な講義があるのではないか?」悩みの末に一汗一汗丁寧に対応講義を製作しました。

Keyword: Big Data Cluster, Distributed System, High Availability, Hadoop, HDFS, Apache Spark, Zookeeper, Zeppelin, AWS EC2 & AMI

なぜ私たちは講義を聞くべきですか?

約10年を超える時間の間、急進的な技術発展により、さまざまなプラットフォームやサービスが右吊筍で生まれ、これを通じて生活から派生する無数のデータが活用・分析され、私たちは質の高い生活を営んでいます。

以下の図1。同様に、国内の巨大企業だけでなく、世界の巨人企業も、Big Data StorageとBig Data Processingの重要性は公然と強調しており、多くのエンジニアに同様の分析と構築スキルセットを求めています。

001.png

002.png

しかし、私たちが実際に該当するINDUSTRYに入るまでは、事前にBIG DATA CLUSTERを直接構築してみたり、取り扱うことができる経験を得ることは容易ではありません。それで、いざ重要な価値を得る機会が来た時、これに対する経験不足で残念な結果を迎えることもできます。

私も研究員時代に「DATA TOPTIER CONFERENCE」論文を書く際に50代のビッグデータクラスターを直接構築しなければならず、メンバーたちに率先して犯さなければならない負担感と課金に対する大きなストレスに耐えながら、一晩中昼間を築き、ひたすらクラスターを作りました。

もちろん、その時の大切な経験でたくさん学んで前進するのに良い滋養分になりましたが、私は皆さんがこんなに時間をやや非効率的に使いたくありません。つまり、皆さんの貴重な約200時間をクラスターを構築するのに使うのではなく、効率的にクラスター上に実験や顧客データ分析をすることに専念することを期待し、その講義を制作しました📝

何よりも皆さんが現在の講義を聞いてクラスタ構築経験を積んだ後、私のように直接現業や大学院でビッグデータクラスタを構築する際に大いに役立つことを願って、その講義は無制限に解いたので参考にしてください💓

私たちは何を学びますか

📝

Data Top-Tier Conference 論文を汗をかいた経験

👨🏻‍💼

現業で得た貴重なビッグデータシステムの構築と分析経験

🧑🏻‍🏫

長い間、大学で良い弟子たちを養成した経験

このように貴重な経験をもとに、その分野であなたが⚔️強力な武器を作れるように

1.高可用性が保証される分散ファイルシステムHDFSの上(下記のDaemonの例を参照)

2. ビッグデータシステム系 Masterpiece、 Apache Spark 、ビッグデータ専用ノートPC Zeppelin

クラスタパッケージを理論的でしっかりしたコードラップを通じて直接構築してみる予定です。

image.png

上記の高可用性ファイルシステムデーモン構成は少し難しく見えますか?もともと常に最初に見ているアーキテクチャとシステム構成図は負担になります。

しかし、

約6年間、優れた弟子たちの大切なフィードバックを振り返り、過去2つのInflearn講義を立ち上げた経験で、受講生の皆さんの目の高さに合わせて、次々とひとつずつ容易にできるだけ簡単で質の高いコンテンツで構成したので、気軽に follow upしていただいても大丈夫です。

special thanks to my lovely students 👨🏻‍🎓

カリキュラムについて教えてください🧑🏻‍🏫

まさにCODELABから始まらず、高可用性クラスターを構築する際に必要な理論から学習します。そして、AWS環境やLinux環境に慣れていない受講生のためにガイド映像やバックグラウンド知識を勉強し、本格的に深いコードラップを進行する予定です😎

curri-1.jpg

ビッグデータOR分散処理に関心のある誰でも受講可能です🧑🏻‍🎓

練習環境はどうなりますか? 💻

下記のような気軽な環境をご用意いただいても、十分に授業に従うことができます。

  • OS:Ubuntu 20.04 LTS

  • Editor: Vim (up to your preference)

  • マシン仕様

    • AWS EC2 / c5.large ( 2 Core 4GB ) 4台または5台

詳しくは、Course Curriculum視聴お願いします😊

J.PHILについて 👨‍👨‍👧‍👦

image.png

こんな方に
おすすめです

学習対象は
誰でしょう?

  • ビッグデータ処理システムのクラスタ構築を実際に体験したい受講生

  • データ分析およびシステムに興味があり、その職務を希望する学生

  • 高可用性クラスターの実践を直接体験したい開発者

  • ビッグデータ分析および構築分野で強みを築きたい就職希望者

前提知識、
必要でしょうか?

  • Python 基本コーディング

  • Linux コマンドの基本知識

  • データベースの基本知識

こんにちは
です。

460

受講生

41

受講レビュー

50

回答

4.9

講座評価

2

講座

안녕하세요 J.PHIL 입니다 🧑🏻‍🎓

첫번째 강의로 [ 빅데이터 시스템 구축 및 분석에 관심있는 입문자 ] 를 위해
"Mastering Big Data Processing: Tools and Techniques for Success" 강의를 오픈 하였습니다.

'수업 및 프로필' 자세한 사항들은 수업 상세 페이지에 잘 작성했으니 참고 부탁드립니다  🙏🏻

カリキュラム

全体

36件 ∙ (4時間 51分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

20件

4.8

20件の受講レビュー

  • 귤껍데기님의 프로필 이미지
    귤껍데기

    受講レビュー 3

    平均評価 4.3

    5

    44% 受講後に作成

    内容が充実していて、初めて始めるのに良い講義だと思います。このような講義を用意してくださってありがとうございます。

    • won831님의 프로필 이미지
      won831

      受講レビュー 1

      平均評価 5.0

      5

      19% 受講後に作成

      まもなく卒業を控えた、データエンジニアを志望するコムボールと学生です。 雇用関連ポートフォリオを作成しながら、ビッグデータを処理するためのパイプラインとアーキテクチャをどのように構成し、どのようにaws環境を設定してできるだけ低コストで効率的に利用できるか悩みが多かったが、本講義を通じて膨大なインサイトとノウハウを手に入れます。 特に、ビッグデータを扱うさまざまなフレームワークに関する多くの知識も得られるようになり、今後どのように掘り下げられるのかインスピレーションを得たようで嬉しいです。 干ばつの終わりにダンビーに会いました。私のようにこちらの分野を志望される学生の方に受講おすすめです。

      • jphil
        知識共有者

        こんにちはone831、 大切な受講評ありがとうございます、今後も良い結果がありますようにファイティングです

    • youngmikwon님의 프로필 이미지
      youngmikwon

      受講レビュー 3

      平均評価 5.0

      5

      100% 受講後に作成

      ありがとうございます!

      • jphil
        知識共有者

        こんにちはクォン・ヨンミ、 大切な受講評ありがとうございます!

    • jasonking님의 프로필 이미지
      jasonking

      受講レビュー 2

      平均評価 5.0

      5

      36% 受講後に作成

      以前はパイプライン講義を聞いて見た講義を聞いていますが、頭の中によく入ってきてとても良いです〜 コンパクトで実務に使われる講義ありがとうございます〜 この講義もすぐに入ってしまいそうですが、他の講義もあるかと期待されます。

      • 2日かかりましたね。 lab形式だからちょっと早く進んで、 namenode 起動ができなくてシャベルするのが難しかったのに(おそらくどこかミスしてそうだった) 後で見たら trouble shoot guide 部分に起動手順スクリプトとログ見る部分整理しておきましたね。これを見たら、もっと早く間違いを修復しました。 もし進んでいる方はみんな追いつくよりは一度精読して従うのもいいと思います~ 講師。良い講義毎回ありがとうございます〜

      • jphil
        知識共有者

        こんにちはJason.Kingさん、 私の今回の講義を熱心に受講していただきありがとうございます :) 時々バグや trouble shooting を直接体験してみて悩んで見て復活してみるのがたくさん役に立つ時があるのでむしろ今回の経験が今後大きな助けになると思われます。 大規模なオフソースを直接構築してみるとクラスタを構築してみましたので、他のオフソースが出ても今すぐ早く構築することができます。これからもファイティングです

    • upgleman8112423674님의 프로필 이미지
      upgleman8112423674

      受講レビュー 4

      平均評価 5.0

      5

      31% 受講後に作成

      理論からコードラップまで初期入務者に本当におすすめする講義です! ビッグデータクラスタ構築講義で必須で受講することをおすすめします!

      • jphil
        知識共有者

        こんにちはYeonwoo Jungさん、 大切な受講評 ありがとうございます。機会があれば、1日2日投資して、AWSで実践に従うことができます。明けましておめでとうございます:)

    ¥12,351

    jphilの他の講座

    知識共有者の他の講座を見てみましょう!

    似ている講座

    同じ分野の他の講座を見てみましょう!