강의

멘토링

로드맵

BEST
Data Science

/

Data Engineering

Data Engineering Course (1): ビッグデータ Hadoop を直接インストールする

Hadoopとビッグデータを学びたい学生は、このコースを通じてビッグデータの世界を体験する素晴らしい発展を祝います!

  • Billy Lee
hadoop
하둡
빅데이터
실무로배우는빅데이터기술
맵리듀스
Big Data
Hadoop
Data Engineering
Java
mapreduce

学習した受講者のレビュー

こんなことが学べます

  • 日常のビッグデータ技術に触れる

  • Hadoopでビッグデータを扱う

  • Hadoopでビッグデータを扱う分散処理技術を学ぶ

  • Java言語を使用してHadoopビッグデータを扱う

  • リレーショナルデータ処理限界をHadoopに乗り越える技術を学ぶ

  • Hadoopのさまざまなプロジェクトとインターフェースを学ぶ

まさにビッグデータ時代! 👨‍💻
Hadoopで専門家になろう。

データサイエンスの中心、
大勢はハドゥプ!

複数のIT大企業、ソーシャルメディアサービスなどで、ビッグデータの分析と処理にHadoop(Apache Hadoop)を先取りして使用しています。 Hadoopは、大量のデータを少ないコストで処理できるように作られたJava言語ベースのフレームワークで、大規模なデータセットを分散保存して処理します。ところで、そのようなHadoopを通じてビッグデータの専門家レベルのクラスに上がることができたらどうでしょうか。

企業はデータ分析を通じて新しい市場を開拓し、希少な価値を与え、新しい消費者に必要な情報をリアルタイムで提供できる快感を与えることができるようになります。中小企業 またビッグデータは必ず取り扱うべき必須事項であるだけに、ビッグデータ関連職務で就職/転職を夢見る方には朗報ではありません。

BigData with Hadoop

Google、Yahoo、Facebook、IBM、Instagram、Twitterなど
複数の企業がデータ分析に使用している
代表的なビッグデータソリューション、Hadoopを通じて
ビッグデータ分散型システムインフラストラクチャを構築します。

このレッスンでは、ビッグデータの用語を理解し、オープンソフトウェアHadoopを介してビッグデータを扱うプロセスを間接的に体験します。この講義を通じて、受講生の皆さんはビッグデータテクノロジー(Big Data Technology)の世界、そして第4次革命の世界を同時に経験できるようになります。

Hadoopとは?

  • Hadoopは一般的なソフトウェアで、誰でも無料で利用できるオープンソースです。
    このレッスンでは、Hadoop 3.2.1バージョンを通じてビッグデータを扱います。

ビッグデータの理解から
Hadoopの使い方まで
一度にOK。

ビッグデータ
用語について
不可欠な理解
Hadoopの
概念と用途に
について
Hadoopによる
ビッグデータ処理
学習チュートリアル

こんな方におすすめです!

もちろん、ここに該当しない方も歓迎します。 (初心者は2倍に歓迎します✌)

就職/転職
検討する未来型IT
データサイエンス準備生
Java / Python経由
ビッグデータを扱おう
ご利用の方
興味と興味
ビッグデータについて
体験したい方
Hadoop 3.xバージョン
データ環境など
経験豊富な会社員

受講前、選手の知識をご確認ください!

  • プレーヤーの知識として、Javaプログラミング言語の基礎、ビッグデータ、および仮想マシン/データセットに関する用語の知識とLinux Ubuntuの基本的な理解が必要です。

次の内容
学習します。

1. 仮想化技術の課題とゲストオペレーティングシステムの理解

サーバー統合に有利な仮想化技術を学び、OSレベルの仮想化を介して1つのOSに複数のサーバーを分離する方法に基づいて学びます。 Linuxに適用できる仮想化方式であるオープンソースソリューションUbuntuを通じて、誰もが挑戦して大量のサーバーを製作運営することになるでしょう。さらに、ゲストオペレーティングシステムの知識はもちろん、大量のサーバーを通じてビッグデータを分散技術に変えることになり、広がる多量の技術経験を蓄積できるようになります。サーバー仮想化を使用して、1つの物理サーバー上またはオペレーティングシステムで非常に効率的な仮想マシンの難しいオペレーティングシステムを体験することができます。

  • ビッグデータの定義と実際の適用例について学びます。
  • 企業が好むデータ処理ソフトウェアであるHadoopに関する用語を理解してください。
データサイズ
The Landscape: ビッグデータ

2. Ubuntu 20.04 LTSの上にHadoopをインストールし、命令を操作する方法

フロントエンド(FrontEnd)開発者がWebアプリケーションを開発する際に自然に遭遇するLinux CLI(Command Line Interface)方式のツールを使用する基礎的な方法から、Hadoopを扱うLinuxターミナルを自然に学ぶ予定です。もちろん、非 Windows ベースの GUI 環境で原도のように Ubuntu を使用するための前提事項を学びながら、セルの設定ファイルなどの Linux システムの理解を超えて中級者方向に自然に導きます。

  • Windows 10ベースのノートブックに仮想マシンとしてLinux(Ubuntu 20.04 LTS)をインストールして設定します。
  • Linux仮想マシンの上にHadoop 3.2.1バージョンをインストールします。
Hadoop 2.x Architecture
Hadoop 2.x vs. 3.x

3. Hadoop 3.2.1最新の方向ガイドとコアアーキテクチャ構造について

非定型データ処理のためのビッグデータの始まりは、GoogleのファイルシステムのモデルであるHadoop分散ファイルシステム(HDFS)とMapReduce(MapReduce)、そしてYan(YARN)というクラスタ拡張とリソース管理の理解です。 Hadoop Version 1、2、3のアーキテクチャ構造について一つ一つ見て、Hadoop技術の歴史がどんなものか受講生の皆さんに絵を描きます。

  • Hadoop分散ファイルシステム(HDFS)を理解して連携してみてください。
  • マップリデュース(Map/Reduce) フレームワークの原理を理解し、これに基づいてデータを分析してみます。
HDFS Architecture
YARN Core Components

4. HDFSシェル操作ガイドとJava / PythonでMapReduceアプリケーションを作成する

データ操作に使われる技術は多様ですが、ビッグデータ分析の基礎はマップリデュースアプリケーション制作にあります。プログラミング言語Python(Python)で、基本的なWordCount MapReduceアプリケーションからEclipseベースのJava言語でCOVID-19アプリケーションを作成するまで、さまざまなビッグデータマップリデュースアプリケーションの作成は、選択を超えて必須に進むべき方向を提示します。

  • JavaでHadoopを連動し、アプリケーションを実装してみます。
  • PythonでHadoopを連携し、アプリケーションを実装してみます。
Python Map/Reduce WordCount Application
Java Map/Reduce WordCount Application

予想される質問Q&A!

Q. ビッグデータとは何ですか? Hadoopを使用するときは、その定義が必要ですか?

はい、もちろんHadoopを扱うときは必ずビッグデータの簡単な定義と理解を求めます。もちろん、完璧で深いレベルの熟知を必要とするほどではありません。ただ、Hadoopを扱う際に必ず必要な理解度を求める形でしょう。

ビッグデータはHadoopツールを備え、非常に大きなデータセットを扱います。このデータセットは、多数の企業が扱うさまざまなパターンやトレンドを特定するために分析する基礎データです。人間の社会的行動とパターン、そして相互作用の中で繰り広げられる人類の価値創造と関連が立っています。

画像ソース:TechTarget (オリジナルショートカット)

Q. Hadoopとは何ですか?コンポーネントは何で、Hadoopスタックは何ですか?

テラバイトを超えてペタ(Petta/Zettabyte)に至る大規模ソーシャルサイトのデータを 処理しなければならない使命をHadoopが助けています。 Hadoop Stackとは、このようなビッグデータを扱うオープンソースのフレームワーク方式です。

単に「Hadoop」は「Hadoop Stack」と呼ばれます。安価で日常的なコマディティハードウェアを使用してクラスタを構築し、その膨大なサーバーの集合体であるクラスタ内で大容量プロセスを処理するのを助けるのは、HadoopとHadoopスタックです。 Hadoopスタックは「単純なバッチプロセス」とも呼ばれ、Javaベースの「分散コンピューティングプラットフォーム」です。だから個人が望むだけのデータを周期別にバッチを回して処理しながら、データを所望の形に加工分散して結果値を算出するのです。

Q. プログラミングの知識が必要ですか?

プログラミングの知識やコードを書く経験がなくても大丈夫です。 JavaやPythonを初めて体験すると考えて教えるように、深い理解をもとに授業を進めます。講義に書かれた文書は英語で書かれていますが、従うことには支障がないように韓国語で講義します。たまに英語で説明をするのですが、高校レベルであれば解釈できないでしょうか? (私の低い英語力でも夢を叶えたようです。)

Q. Hadoopを扱うのにビッグデータはどのくらい関連がありますか?

この講義は当然ハドゥプを扱っています。単にRDMSというOracleやMSSQL、あるいはMYSQLを越えて大容量処理をはじめ、データ処理速度の問題、低コスト効果という企業の必須要素を創出したいと思います。特にソーシャルを扱わなければならない企業、つまりすぐに行と列に基づくデータRDMSで扱うリレーショナルデータを扱うストラクチャデータ(Structured data)だけでなく、画像、オーディオ、ワードプロセスファイルそのものを扱わなければならないアンストラクチャデータ(Unstructred data)などもハドゥが扱います。

サービスストラクチャーデータを扱うときは、Email、CSV、XML、およびJSONなどのWebサーバーとの通信とデータ連携に関するデータを言っています。 HTML、Web Sites、NoSQL Databasesもここに含まれています。もちろん、EDIというビジネス書類関連の計算移動させるコンピュータ対コンピュータ間の移動処理問題を扱う際に使うデータセットの累積もやはりここに属します。

画像ソース:MonkeyLearn Blog (オリジナルショートカット)

Q.どの程度レベルまで内容を扱いますか?

このレッスンでは、Ubuntu(Ubuntu)20.04 LTSベースにHadoop(Hadoop)3.2.1をユーザーが直接インストールするのに役立ちます。 UnixやLinuxの経験がなくても自然に追いつくと、Linuxを基につながるインストールのヒントとLinuxオペレーティングシステムを自然に熟知することになります。また、Hadoopが扱うCLI言語やユーザー言語を習得する基本的な部分を超えて、Googleが持っている技術であるDFS and MapReduce技術に慣れるのに役立ちます。 YARN(ヤン)についての理解は基礎理論だけを持つことになります。 後にHadoop 3.3.0中級コースでクラスターを設置しながらヤンについてのより深い学習を期待してください。

Q. Ubuntu 20.04 LTSを練習環境として使用する理由はありますか?

Ubuntuは無料で利用可能で、LTS(Long-Term Service)を通じて長期サービスのサポートを夢見ている企業を対象に、HadoopをLinuxにインストールしながら、自然に企業が要求するオペレーティングシステムや開発環境を構築するのに役立ちます。同じ環境内でEclipseやIntelligentを使用することで、ビッグデータを扱うデータサイエンスの夢を実現するのに役立つ時間があります。

UbuntuはWindowsオペレーティングシステムのインストールと運営です。
同様の環境、つまりグラフィカルユーザーインターフェース(GUI)
環境を通じてユーザーを助けています。

こんな方に
おすすめです

学習対象は
誰でしょう?

  • ビッグデータの基礎を最初から学びたい熱共生

  • ビッグデータの原理と適用に喘ぐ人

  • デ企業のビッグデータを扱うためにHadoopを学びたい人

  • Javaに基礎知識がある方

前提知識、
必要でしょうか?

  • The Concept of Big Data (ビッグデータについて)

  • 仮想マシン

  • データセット用語

  • Linuxの理解(Ubuntu)

  • Java 15

こんにちは
です。

588

受講生

40

受講レビュー

69

回答

4.5

講座評価

2

講座

네오아베뉴 대표 빌리 리 입니다.

2022년 9월 한국에 가족 모두 귀국한 뒤 현대자동차 빅데이터 프로젝트에 TA 컨설팅 (2022.09 -11월까지)하였고, 에자일 PM과 빅데이터 C-ITS 시스템 구축으로 하둡 에코시스템 및 머신러닝 딥러닝 리드하여 프로젝트 관리자 (PMO)역할을 하였습니다. 이후 Azure Data Factory & Azure Databricks 을 가지고 데이터 관리 기술을 AIA 생명 보험 이노베이션 데이터 플랫폼 팀에서 근무하면서 데이터 과학자로 깊은 탐구와 열정을 불살랐습니다.

2012년에서 2020년 까지 센터니얼 칼리지 Software Eng. Technician 졸업한 열공생이자 한국에서는 9년의 IT 경력 소유자로 금융권 (재무, 금융 프로젝트 및 빅데이터 관련 ) 에 다수 근무했습니다.

1999년 필리핀 (Dasmarinas) 지역에서 P.T.S. 네트워크 엔지니어링 자원 봉사자로 1년 근무하면서 글로벌 IT 세계와 네트워크 지식을 쌓으며 이후 2000년 한국으로 돌아와 K.M.C.에서 Clarion 4GL 언어로 Warehouse Inventory Control and Management 그리고 PIS Operational Test PCS C/C++ 개발했었습니다.

2001년 LG-SOFT SCHOOL 자바 전문가 과정 이수 후 CNMTechnologies 에서 e-CRM/e-SFA R&D 연구 및 개발 2년 정도 (한국산업은행/대정정부청사/영진제약) 다양한 프로젝트를 섭렵하였습니다.

2004년부터 2012년 캐나다로 올 때까지 SKT/SK C&C (IMOS), SC제일은행(TBC), 프로덴션 생명(PFMS), 교보생명 AXA Kyobo Life Insurance Account Management, Kook-min Bank 국민은행 Financial Management Reconstruction NGM외 다수 프로젝트에 참여 개발 및 리드하였습니다.

 

2012년 연말에 캐나다에 거주하면서 세 아이의 아빠이자 Scrum Master로서 에자일 개발 방식을 채택하여 핸디맨 어플/이커머스 어플/프로덱트 개발/레시피 어플 개발한 미주 캐나다 지역의 실경험자입니다.

カリキュラム

全体

85件 ∙ (6時間 39分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

39件

4.5

39件の受講レビュー

  • hadoop3bigdata님의 프로필 이미지
    hadoop3bigdata

    受講レビュー 3

    平均評価 5.0

    5

    93% 受講後に作成

    この講義は、ビッグデータを扱うHadoopの専門家として養成したい心で講義を制作しました。クラウデラなどの包括的なオンプロメス配布ソフトウェアアプリケーション(OPD)を使用するのではなく、Hadoopを最初からインストールし、データセットを抽出、移動、およびロードすることに進みます。 1.xバージョンから始まったHadoopは、3.3バージョンまで多くの機能が追加されて非常に海賊なプラットフォームになりましたが、多くのツールを扱い、ビッグデータ専門家として養成される心溢れる講義になることを願っています。

    • kentucky8612311057님의 프로필 이미지
      kentucky8612311057

      受講レビュー 4

      平均評価 5.0

      5

      100% 受講後に作成

      利点: Hadoop MapReduceの基礎を学ぶことができます。 韓国語で唯一のHadoop講義のようです 残念なこと: マッパーを2つ使用して1つの共通キーに抽出する キーを2つ書く場合、 コンパレータを直接設定する方法 など気になった内容がなくて残念だった。 欠点: 講師様韓国語の発音が明確ではないが、背景音楽が大きくて何度何を言うのか再び聞かなければならなかった。 --------------------------------------- 先生の回答を見て別点5に修正します。

      • hadoop3bigdata
        知識共有者

        親切に詳しい評価ありがとうございます。更新した講義もあるので静かな時間に聞きながらハドゥプ専門家に残すことを楽しみにしています。

    • seaking79727님의 프로필 이미지
      seaking79727

      受講レビュー 47

      平均評価 4.5

      5

      59% 受講後に作成

      Hadoopの入門者にはいいですね。本を見る前にまず学習するのにちょうどいいようです。

      • hadoop3bigdata
        知識共有者

        はい、良い評価ありがとうございます。 YARNアプリケーションを実行することを強調しました。ありがとうございます。楽しみにしています。

    • dlgnsxo1239897님의 프로필 이미지
      dlgnsxo1239897

      受講レビュー 56

      平均評価 5.0

      5

      100% 受講後に作成

      Hadoop川の本当によかったです! スパーク講義も開いてほしいです。 ありがとうございます!

      • hadoop3bigdata
        知識共有者

        この講義を通して、Hadoopをもっと親しみ、きっかけになることを楽しみにしています。

    • jason님의 프로필 이미지
      jason

      受講レビュー 28

      平均評価 5.0

      5

      31% 受講後に作成

      講師様 こんな質の良い講義をお手頃な価格で視聴できるように提供していただきありがとうございます! データエンジニアが新しくなりました HadoopやSparkなどのビッグデータフレワークをどのように始めなければならないのか悩み、厚い本を考慮していたときに過去に購入しておいたこの講義を見直すようになりました。 Javaをやったことがないので理解するのに少し時間がかかりますが、よく修了します! 今年末や、来年初めにスパーク川の予定だと言うのにとても楽しみにしています! pysparkベースでこの講義のように簡単に説明できることを願っています!

      期間限定セール、あと4日日で終了

      ¥5,190

      23%

      ¥6,748

      Billy Leeの他の講座

      知識共有者の他の講座を見てみましょう!

      似ている講座

      同じ分野の他の講座を見てみましょう!