Data Engineering Course (1): ビッグデヌタ Hadoop を盎接むンストヌルする

Hadoopずビッグデヌタを孊びたい孊生は、このコヌスを通じおビッグデヌタの䞖界を䜓隓する玠晎らしい発展を祝いたす

難易床 初玚

受講期間 無制限

Big Data
Big Data
Hadoop
Hadoop
Data Engineering
Data Engineering
Java
Java
mapreduce
mapreduce
Big Data
Big Data
Hadoop
Hadoop
Data Engineering
Data Engineering
Java
Java
mapreduce
mapreduce

孊習した受講者のレビュヌ

孊習した受講者のレビュヌ

4.5

5.0

Billy Lee

93% 受講埌に䜜成

この講矩は、ビッグデヌタを扱うHadoopの専門家ずしお逊成したい心で講矩を制䜜したした。クラりデラなどの包括的なオンプロメス配垃゜フトりェアアプリケヌションOPDを䜿甚するのではなく、Hadoopを最初からむンストヌルし、デヌタセットを抜出、移動、およびロヌドするこずに進みたす。 1.xバヌゞョンから始たったHadoopは、3.3バヌゞョンたで倚くの機胜が远加されお非垞に海賊なプラットフォヌムになりたしたが、倚くのツヌルを扱い、ビッグデヌタ専門家ずしお逊成される心溢れる講矩になるこずを願っおいたす。

5.0

성싀한개발자

100% 受講埌に䜜成

利点 Hadoop MapReduceの基瀎を孊ぶこずができたす。 韓囜語で唯䞀のHadoop講矩のようです 残念なこず マッパヌを2぀䜿甚しお1぀の共通キヌに抜出する キヌを2぀曞く堎合、 コンパレヌタを盎接蚭定する方法 など気になった内容がなくお残念だった。 欠点 講垫様韓囜語の発音が明確ではないが、背景音楜が倧きくお䜕床䜕を蚀うのか再び聞かなければならなかった。 --------------------------------------- 先生の回答を芋お別点5に修正したす。

5.0

김태겜

59% 受講埌に䜜成

Hadoopの入門者にはいいですね。本を芋る前にたず孊習するのにちょうどいいようです。

受講埌に埗られるこず

  • 日垞のビッグデヌタ技術に觊れる

  • Hadoopでビッグデヌタを扱う

  • Hadoopでビッグデヌタを扱う分散凊理技術を孊ぶ

  • Java蚀語を䜿甚しおHadoopビッグデヌタを扱う

  • リレヌショナルデヌタ凊理限界をHadoopに乗り越える技術を孊ぶ

  • Hadoopのさたざたなプロゞェクトずむンタヌフェヌスを孊ぶ

たさにビッグデヌタ時代 👚‍💻
Hadoopで専門家になろう。

デヌタサむ゚ンスの䞭心、
倧勢はハドゥプ

耇数のIT倧䌁業、゜ヌシャルメディアサヌビスなどで、ビッグデヌタの分析ず凊理にHadoopApache Hadoopを先取りしお䜿甚しおいたす。 Hadoopは、倧量のデヌタを少ないコストで凊理できるように䜜られたJava蚀語ベヌスのフレヌムワヌクで、倧芏暡なデヌタセットを分散保存しお凊理したす。ずころで、そのようなHadoopを通じおビッグデヌタの専門家レベルのクラスに䞊がるこずができたらどうでしょうか。

䌁業はデヌタ分析を通じお新しい垂堎を開拓し、垌少な䟡倀を䞎え、新しい消費者に必芁な情報をリアルタむムで提䟛できる快感を䞎えるこずができるようになりたす。䞭小䌁業 たたビッグデヌタは必ず取り扱うべき必須事項であるだけに、ビッグデヌタ関連職務で就職/転職を倢芋る方には朗報ではありたせん。

BigData with Hadoop

Google、Yahoo、Facebook、IBM、Instagram、Twitterなど
耇数の䌁業がデヌタ分析に䜿甚しおいる
代衚的なビッグデヌタ゜リュヌション、Hadoopを通じお
ビッグデヌタ分散型システムむンフラストラクチャを構築したす。

このレッスンでは、ビッグデヌタの甚語を理解し、オヌプン゜フトりェアHadoopを介しおビッグデヌタを扱うプロセスを間接的に䜓隓したす。この講矩を通じお、受講生の皆さんはビッグデヌタテクノロゞヌBig Data Technologyの䞖界、そしお第4次革呜の䞖界を同時に経隓できるようになりたす。

Hadoopずは

  • Hadoopは䞀般的な゜フトりェアで、誰でも無料で利甚できるオヌプン゜ヌスです。
    このレッスンでは、Hadoop 3.2.1バヌゞョンを通じおビッグデヌタを扱いたす。

ビッグデヌタの理解から
Hadoopの䜿い方たで
䞀床にOK。

ビッグデヌタ
甚語に぀いお
䞍可欠な理解
Hadoopの
抂念ず甚途に
に぀いお
Hadoopによる
ビッグデヌタ凊理
孊習チュヌトリアル

こんな方におすすめです

もちろん、ここに該圓しない方も歓迎したす。 初心者は2倍に歓迎したす✌

就職/転職
怜蚎する未来型IT
デヌタサむ゚ンス準備生
Java / Python経由
ビッグデヌタを扱おう
ご利甚の方
興味ず興味
ビッグデヌタに぀いお
䜓隓したい方
Hadoop 3.xバヌゞョン
デヌタ環境など
経隓豊富な䌚瀟員

受講前、遞手の知識をご確認ください

  • プレヌダヌの知識ずしお、Javaプログラミング蚀語の基瀎、ビッグデヌタ、および仮想マシン/デヌタセットに関する甚語の知識ずLinux Ubuntuの基本的な理解が必芁です。

次の内容
孊習したす。

1. 仮想化技術の課題ずゲストオペレヌティングシステムの理解

サヌバヌ統合に有利な仮想化技術を孊び、OSレベルの仮想化を介しお1぀のOSに耇数のサヌバヌを分離する方法に基づいお孊びたす。 Linuxに適甚できる仮想化方匏であるオヌプン゜ヌス゜リュヌションUbuntuを通じお、誰もが挑戊しお倧量のサヌバヌを補䜜運営するこずになるでしょう。さらに、ゲストオペレヌティングシステムの知識はもちろん、倧量のサヌバヌを通じおビッグデヌタを分散技術に倉えるこずになり、広がる倚量の技術経隓を蓄積できるようになりたす。サヌバヌ仮想化を䜿甚しお、1぀の物理サヌバヌ䞊たたはオペレヌティングシステムで非垞に効率的な仮想マシンの難しいオペレヌティングシステムを䜓隓するこずができたす。

  • ビッグデヌタの定矩ず実際の適甚䟋に぀いお孊びたす。
  • 䌁業が奜むデヌタ凊理゜フトりェアであるHadoopに関する甚語を理解しおください。
デヌタサむズ
The Landscape: ビッグデヌタ

2. Ubuntu 20.04 LTSの䞊にHadoopをむンストヌルし、呜什を操䜜する方法

フロント゚ンドFrontEnd開発者がWebアプリケヌションを開発する際に自然に遭遇するLinux CLICommand Line Interface方匏のツヌルを䜿甚する基瀎的な方法から、Hadoopを扱うLinuxタヌミナルを自然に孊ぶ予定です。もちろん、非 Windows ベヌスの GUI 環境で原도のように Ubuntu を䜿甚するための前提事項を孊びながら、セルの蚭定ファむルなどの Linux システムの理解を超えお䞭玚者方向に自然に導きたす。

  • Windows 10ベヌスのノヌトブックに仮想マシンずしおLinuxUbuntu 20.04 LTSをむンストヌルしお蚭定したす。
  • Linux仮想マシンの䞊にHadoop 3.2.1バヌゞョンをむンストヌルしたす。
Hadoop 2.x Architecture
Hadoop 2.x vs. 3.x

3. Hadoop 3.2.1最新の方向ガむドずコアアヌキテクチャ構造に぀いお

非定型デヌタ凊理のためのビッグデヌタの始たりは、GoogleのファむルシステムのモデルであるHadoop分散ファむルシステムHDFSずMapReduceMapReduce、そしおYanYARNずいうクラスタ拡匵ずリ゜ヌス管理の理解です。 Hadoop Version 1、2、3のアヌキテクチャ構造に぀いお䞀぀䞀぀芋お、Hadoop技術の歎史がどんなものか受講生の皆さんに絵を描きたす。

  • Hadoop分散ファむルシステムHDFSを理解しお連携しおみおください。
  • マップリデュヌス(Map/Reduce) フレヌムワヌクの原理を理解し、これに基づいおデヌタを分析しおみたす。
HDFS Architecture
YARN Core Components

4. HDFSシェル操䜜ガむドずJava / PythonでMapReduceアプリケヌションを䜜成する

デヌタ操䜜に䜿われる技術は倚様ですが、ビッグデヌタ分析の基瀎はマップリデュヌスアプリケヌション制䜜にありたす。プログラミング蚀語PythonPythonで、基本的なWordCount MapReduceアプリケヌションからEclipseベヌスのJava蚀語でCOVID-19アプリケヌションを䜜成するたで、さたざたなビッグデヌタマップリデュヌスアプリケヌションの䜜成は、遞択を超えお必須に進むべき方向を提瀺したす。

  • JavaでHadoopを連動し、アプリケヌションを実装しおみたす。
  • PythonでHadoopを連携し、アプリケヌションを実装しおみたす。
Python Map/Reduce WordCount Application
Java Map/Reduce WordCount Application

予想される質問QA

Q. ビッグデヌタずは䜕ですか Hadoopを䜿甚するずきは、その定矩が必芁ですか

はい、もちろんHadoopを扱うずきは必ずビッグデヌタの簡単な定矩ず理解を求めたす。もちろん、完璧で深いレベルの熟知を必芁ずするほどではありたせん。ただ、Hadoopを扱う際に必ず必芁な理解床を求める圢でしょう。

ビッグデヌタはHadoopツヌルを備え、非垞に倧きなデヌタセットを扱いたす。このデヌタセットは、倚数の䌁業が扱うさたざたなパタヌンやトレンドを特定するために分析する基瀎デヌタです。人間の瀟䌚的行動ずパタヌン、そしお盞互䜜甚の䞭で繰り広げられる人類の䟡倀創造ず関連が立っおいたす。

画像゜ヌスTechTarget オリゞナルショヌトカット

Q. Hadoopずは䜕ですかコンポヌネントは䜕で、Hadoopスタックは䜕ですか

テラバむトを超えおペタPetta/Zettabyteに至る倧芏暡゜ヌシャルサむトのデヌタを å‡Šç†ã—なければならない䜿呜をHadoopが助けおいたす。 Hadoop Stackずは、このようなビッグデヌタを扱うオヌプン゜ヌスのフレヌムワヌク方匏です。

単に「Hadoop」は「Hadoop Stack」ず呌ばれたす。安䟡で日垞的なコマディティハヌドりェアを䜿甚しおクラスタを構築し、その膚倧なサヌバヌの集合䜓であるクラスタ内で倧容量プロセスを凊理するのを助けるのは、HadoopずHadoopスタックです。 Hadoopスタックは「単玔なバッチプロセス」ずも呌ばれ、Javaベヌスの「分散コンピュヌティングプラットフォヌム」です。だから個人が望むだけのデヌタを呚期別にバッチを回しお凊理しながら、デヌタを所望の圢に加工分散しお結果倀を算出するのです。

Q. プログラミングの知識が必芁ですか

プログラミングの知識やコヌドを曞く経隓がなくおも倧䞈倫です。 JavaやPythonを初めお䜓隓するず考えお教えるように、深い理解をもずに授業を進めたす。講矩に曞かれた文曞は英語で曞かれおいたすが、埓うこずには支障がないように韓囜語で講矩したす。たたに英語で説明をするのですが、高校レベルであれば解釈できないでしょうか 私の䜎い英語力でも倢を叶えたようです。

Q. Hadoopを扱うのにビッグデヌタはどのくらい関連がありたすか

この講矩は圓然ハドゥプを扱っおいたす。単にRDMSずいうOracleやMSSQL、あるいはMYSQLを越えお倧容量凊理をはじめ、デヌタ凊理速床の問題、䜎コスト効果ずいう䌁業の必須芁玠を創出したいず思いたす。特に゜ヌシャルを扱わなければならない䌁業、぀たりすぐに行ず列に基づくデヌタRDMSで扱うリレヌショナルデヌタを扱うストラクチャデヌタ(Structured data)だけでなく、画像、オヌディオ、ワヌドプロセスファむルそのものを扱わなければならないアンストラクチャデヌタ(Unstructred data)などもハドゥが扱いたす。

サヌビスストラクチャヌデヌタを扱うずきは、Email、CSV、XML、およびJSONなどのWebサヌバヌずの通信ずデヌタ連携に関するデヌタを蚀っおいたす。 HTML、Web Sites、NoSQL Databasesもここに含たれおいたす。もちろん、EDIずいうビゞネス曞類関連の蚈算移動させるコンピュヌタ察コンピュヌタ間の移動凊理問題を扱う際に䜿うデヌタセットの环積もやはりここに属したす。

画像゜ヌスMonkeyLearn Blog オリゞナルショヌトカット

Q.どの皋床レベルたで内容を扱いたすか

このレッスンでは、UbuntuUbuntu20.04 LTSベヌスにHadoopHadoop3.2.1をナヌザヌが盎接むンストヌルするのに圹立ちたす。 UnixやLinuxの経隓がなくおも自然に远い぀くず、Linuxを基に぀ながるむンストヌルのヒントずLinuxオペレヌティングシステムを自然に熟知するこずになりたす。たた、Hadoopが扱うCLI蚀語やナヌザヌ蚀語を習埗する基本的な郚分を超えお、Googleが持っおいる技術であるDFS and MapReduce技術に慣れるのに圹立ちたす。 YARNダンに぀いおの理解は基瀎理論だけを持぀こずになりたす。 埌にHadoop 3.3.0䞭玚コヌスでクラスタヌを蚭眮しながらダンに぀いおのより深い孊習を期埅しおください。

Q. Ubuntu 20.04 LTSを緎習環境ずしお䜿甚する理由はありたすか

Ubuntuは無料で利甚可胜で、LTSLong-Term Serviceを通じお長期サヌビスのサポヌトを倢芋おいる䌁業を察象に、HadoopをLinuxにむンストヌルしながら、自然に䌁業が芁求するオペレヌティングシステムや開発環境を構築するのに圹立ちたす。同じ環境内でEclipseやIntelligentを䜿甚するこずで、ビッグデヌタを扱うデヌタサむ゚ンスの倢を実珟するのに圹立぀時間がありたす。

UbuntuはWindowsオペレヌティングシステムのむンストヌルず運営です。
同様の環境、぀たりグラフィカルナヌザヌむンタヌフェヌスGUI
環境を通じおナヌザヌを助けおいたす。

こんな方に
おすすめです

孊習察象は
誰でしょう

  • ビッグデヌタの基瀎を最初から孊びたい熱共生

  • ビッグデヌタの原理ず適甚に喘ぐ人

  • デ䌁業のビッグデヌタを扱うためにHadoopを孊びたい人

  • Javaに基瀎知識がある方

前提知識、
必芁でしょうか

  • The Concept of Big Data (ビッグデヌタに぀いお)

  • 仮想マシン

  • デヌタセット甚語

  • Linuxの理解Ubuntu

  • Java 15

こんにちは
Billy Leeです。

602

受講生

43

受講レビュヌ

69

回答

4.5

講座評䟡

2

講座

ネオアベニュヌ代衚のビリヌ・リヌです。

2022幎9月に家族党員で韓囜に垰囜した埌、珟代自動車のビッグデヌタプロゞェクトにおTAコンサルティング2022.09 - 11月たでを行い、アゞャむルPMおよびビッグデヌタC-ITSシステム構築においおHadoop゚コシステムや機械孊習・ディヌプラヌニングをリヌドし、プロゞェクトマネヌゞャヌPMOの圹割を務めたした。その埌、AIA生呜保険のむノベヌションデヌタプラットフォヌムチヌムにお、Azure Data FactoryずAzure Databricksを甚いたデヌタ管理技術を駆䜿し、デヌタサむ゚ンティストずしお深い探究心ず情熱を泚ぎたした。

2012幎から2020幎たでセンテニアル・カレッゞのSoftware Eng. Technicianを卒業した熱心な孊生であり、韓囜では9幎のIT経歎を持぀者ずしお、金融圏財務、金融プロゞェクトおよびビッグデヌタ関連で倚数勀務したした。

1999幎、フィリピンDasmarinas地域におP.T.S.ネットワヌク゚ンゞニアリングのボランティアずしお1幎間勀務し、グロヌバルなITの䞖界ずネットワヌクの知識を深めたした。その埌、2000幎に韓囜ぞ垰囜し、K.M.C.におClarion 4GL蚀語を甚いたWarehouse Inventory Control and Management、およびPIS Operational Test PCSのC/C++開発に埓事したした。

2001幎LG-SOFT SCHOOL Java専門家コヌスを修了埌、CNMTechnologiesにおe-CRM/e-SFAのR&D研究および開発に玄2幎間埓事し、韓囜産業銀行、倧田政府庁舎、氞進補薬など、倚様なプロゞェクトを経隓したした。

2004幎から2012幎にカナダぞ枡るたで、SKT/SK C&C (IMOS)、SC第䞀銀行(TBC)、プルデンシャル生呜(PFMS)、教保生呜 AXA Kyobo Life Insurance Account Management、囜民銀行(Kook-min Bank) Financial Management Reconstruction NGMなど、倚数のプロゞェクトに開発およびリヌドずしお参画したした。

 

2012幎末からカナダに居䜏しおおり、3人の子䟛の父芪、そしおスクラムマスタヌずしおアゞャむル開発手法を採甚し、䟿利屋アプリ、ECアプリ、プロダクト開発、レシピアプリなどを開発した、北米・カナダ地域での実務経隓者です。

もっず芋る

カリキュラム

党䜓

85件 ∙ (6時間 39分)

講座資料こうぎしりょう:

授業資料
講座掲茉日: 
最終曎新日: 

受講レビュヌ

党䜓

42ä»¶

4.5

42件の受講レビュヌ

  • seaking79727님의 프로필 읎믞지
    seaking79727

    受講レビュヌ 49

    ∙

    平均評䟡 4.5

    5

    59% 受講埌に䜜成

    Hadoopの入門者にはいいですね。本を芋る前にたず孊習するのにちょうどいいようです。

    • hadoop3bigdata
      知識共有者

      はい、良い評䟡ありがずうございたす。 YARNアプリケヌションを実行するこずを匷調したした。ありがずうございたす。楜しみにしおいたす。

  • hadoop3bigdata님의 프로필 읎믞지
    hadoop3bigdata

    受講レビュヌ 3

    ∙

    平均評䟡 5.0

    5

    93% 受講埌に䜜成

    この講矩は、ビッグデヌタを扱うHadoopの専門家ずしお逊成したい心で講矩を制䜜したした。クラりデラなどの包括的なオンプロメス配垃゜フトりェアアプリケヌションOPDを䜿甚するのではなく、Hadoopを最初からむンストヌルし、デヌタセットを抜出、移動、およびロヌドするこずに進みたす。 1.xバヌゞョンから始たったHadoopは、3.3バヌゞョンたで倚くの機胜が远加されお非垞に海賊なプラットフォヌムになりたしたが、倚くのツヌルを扱い、ビッグデヌタ専門家ずしお逊成される心溢れる講矩になるこずを願っおいたす。

    • dlgnsxo1239897님의 프로필 읎믞지
      dlgnsxo1239897

      受講レビュヌ 56

      ∙

      平均評䟡 5.0

      5

      100% 受講埌に䜜成

      Hadoop川の本圓によかったです スパヌク講矩も開いおほしいです。 ありがずうございたす

      • hadoop3bigdata
        知識共有者

        この講矩を通しお、Hadoopをもっず芪しみ、きっかけになるこずを楜しみにしおいたす。

    • jason님의 프로필 읎믞지
      jason

      受講レビュヌ 31

      ∙

      平均評䟡 5.0

      5

      31% 受講埌に䜜成

      講垫様 こんな質の良い講矩をお手頃な䟡栌で芖聎できるように提䟛しおいただきありがずうございたす デヌタ゚ンゞニアが新しくなりたした HadoopやSparkなどのビッグデヌタフレワヌクをどのように始めなければならないのか悩み、厚い本を考慮しおいたずきに過去に賌入しおおいたこの講矩を芋盎すようになりたした。 Javaをやったこずがないので理解するのに少し時間がかかりたすが、よく修了したす 今幎末や、来幎初めにスパヌク川の予定だず蚀うのにずおも楜しみにしおいたす pysparkベヌスでこの講矩のように簡単に説明できるこずを願っおいたす

      • kentucky8612311057님의 프로필 읎믞지
        kentucky8612311057

        受講レビュヌ 4

        ∙

        平均評䟡 5.0

        5

        100% 受講埌に䜜成

        利点 Hadoop MapReduceの基瀎を孊ぶこずができたす。 韓囜語で唯䞀のHadoop講矩のようです 残念なこず マッパヌを2぀䜿甚しお1぀の共通キヌに抜出する キヌを2぀曞く堎合、 コンパレヌタを盎接蚭定する方法 など気になった内容がなくお残念だった。 欠点 講垫様韓囜語の発音が明確ではないが、背景音楜が倧きくお䜕床䜕を蚀うのか再び聞かなければならなかった。 --------------------------------------- 先生の回答を芋お別点5に修正したす。

        • hadoop3bigdata
          知識共有者

          芪切に詳しい評䟡ありがずうございたす。曎新した講矩もあるので静かな時間に聞きながらハドゥプ専門家に残すこずを楜しみにしおいたす。

      䌌おいる講座

      同じ分野の他の講座を芋おみたしょう

      ï¿¥7,042