강의

멘토링

로드맵

BEST
Data Science

/

Data Engineering

スパークマシンラーニングパーフェクトガイド - Part 1

スパーク機械学習の中核フレームワークの理解、難易度の高い実践問題によるSQLベースのデータ処理、業務ドメイン分析によるデータ分析と最適化された機械学習モデルの実装能力まで、大容量データ基盤から機械学習の専門家として認めたい場合は、この講義と一緒にしてください。

  • dooleyz3525
한국에 이런 강의가?
압도적 분량
Apache Spark
Machine Learning(ML)
Big Data
Data Engineering

学習した受講者のレビュー

こんなことが学べます

  • スパークで機械学習モデルを実装する

  • スパークのデータ処理ベースであるDataFrameの詳細な理解

  • スパークマシンラーニングフレームワークを構成するさまざまな技術要素を理解する

  • スパークの機械学習パイプラインを学ぶ

  • データ分析のためのSQL活用能力

  • SQLベースのFeature Engineering技術

  • スパークでXGBoostとLightGBMでモデルを実装する

  • ベイジアン最適化に基づくモデルハイパーパラメータのチューニング方法

  • 難易度の高い実践問題により、データ解析とMLモデル実装の実力を同時に向上

  • 分析ドメインベースのデータ分析方法

  • 様々なデータ可視化技術

データ分析+フィーチャーエンジニアリング+ML実装、
3つの能力を一度にキャッチしてください。

Apache Sparkと
機械学習の出会い。

オープンソースの大容量分散処理ソリューションの最強者であるApache Spark(Apache Spark)Machine Learningが出会いました。

国内の多くの大企業や金融機関でApache Sparkを活用して大容量データを分析し、機械学習モデルを作成しています。 Sparkは分散データ処理フレームをベースにしているため、少なくは数台から多くは数十台のサーバー上で容量を拡張していきながら、大容量データを処理してMLモデルを作成できます。そのため、1台のサーバーでのみ機械学習モデルを実装することができるサイキランの制限を超えています。


データ加工/分析にも対応
機械学習の専門家として
成長させていただきます。

「Spark Machine Learning Complete Guide - Part 1」の講義は、Sparkで機械学習モデルを実装する方法を学ぶことを超えて、データ処理と分析にも優れた機械学習の専門家としてあなたを成長させます。

真の機械学習の専門家として成長するためには、絹のML実装能力だけでなく、業務データをどのように加工して組み合わせてMLモデルを作り出す能力も非常に重要です。このため、実務で大容量データ処理に最も多く使われるSQLを活用してデータを加工する方法と業務ドメイン分析に基づくデータ分析技術を実習を通じて習得することになります。

詳細な理論の説明と実践を通じて、データ処理/分析とML実装の能力を高めるように構成しました。


あなたが直面する問題
解決します。

スパークベースで機械学習モデルを実装することは容易ではありません。これは、スパークアーキテクチャの特殊性に基づくユニークな機械学習APIとフレームワーク、およびSQLベースのデータ処理など、既存のデータサイエンティストや機械学習の専門家が経験していない多くの問題に取り組むからです。

本講義、スパークマシンラーニング完璧ガイドを通じて、皆さんが封着した問題を解決する能力を養います。

「スパークマシンラーニング完璧ガイド - Part 1」講義の前半は

講義の前半は、Spark Machine Learning Frameworkを構成するさまざまな要素であるDataFrame、SQL、Estimator、Transformer、Pipeline、Evaluatorなどについての詳細な理論説明と豊富な実習で構成されています。これにより、SparkでMLモデルを簡単かつ迅速に実装できます。

また、スパークでXGBoostとLightGBを使用する方法、ベイジアン最適化に基づくHyperOptを使用してハイパーパラメータをチューニングする方法について詳しく説明します。

「スパークマシンラーニング完璧ガイド - パート1」の講義の後半

講義の後半は、キャグルのInstacart Market Basket Analysisコンテストの実践を通して、あなたの実践的なデータ処理/分析能力と機械学習モデルの実装能力を同時に向上させます。キャグルInstacartコンテストは難易度の高いコンテストであり、特にデータセットはeコマースの注文処理テーブル(商品、注文、注文商品)で構成されています。

データセットを使用して、SQLベースでワークデータをどのように処理して分析し、Feature Engineeringを実行するのか、仕事で分析ドメインをどのように導き出すのか、そしてこのように導出されたFeatureに基づいてモデルを作成する方法について詳しく学びます。

今回発売する「スパークマシンラーニング完璧ガイド」講義はPart 1です。パート2のレッスンは今後リリースされる予定で、テキスト分析、推奨(Recommendation)、およびTimeSeries分析を扱う予定です。

💻受講前に確認してください!

  • このレッスンの練習コードはすべてPythonベースです。 Scalaは扱いませんので、講義の選択前にご参照お願い致します。

練習環境
確認してください。

練習はDatabricks(データブリックス)を利用します。 Databricksは、Sparkをインストールせずにクラウド上にSparkベースのアプリケーションを作成できるラップトップ環境を提供します。

DatabricksはCommunityバージョンで、公式に14日間無料で利用できます。
そしてセクション0の「DatabricksでSparkクラスターを管理し、加入2週間後もDatabricksを使う」講義映像で14日以降も無料で引き続き使用できる方法についてお話ししていますのでコ~玉該当映像を確認お願いいたします(Databricks Communityバージョンの説明はリンクを参照してください)。

講義実習コードと講義説明資料は、「実習コードと説明資料のダウンロード」からダウンロードできます。


選手の知識
必要な講義です。

本講義は受講生の方々がPythonマシンラーニング完璧ガイドの5章(回帰)またはそれに準ずる知識を持っていることで、またSQLに関する非常に基本的な部分はご存知であると考えて構成されていますので、講義の選択時に上記の事項を参照してください。

Sparkは基本的な部分を知っていればいいのですが、知らなくても講義に従うことに問題はありません。

選手講義を確認してください!

Python機械学習完璧ガイド

理論中心の機械学習講義はやめ、
機械学習の中核概念から実戦能力まで簡単かつ正確に。

知識共有者のインタビューが気になったら? (クリック)

こんな方に
おすすめです

学習対象は
誰でしょう?

  • スパークを利用して機械学習を実施したい方

  • 大容量データファンデーションで機械学習を実装したい方

  • SQLを使用して機械学習のためのデータ処理技術を向上させたい人

  • 本番で目的の形にデータを加工し、それに基づいてMLモデルを作成するすべてのプロセスを習得したい人

  • データ分析とFeature Engineering能力、ML実装を共に向上させたい方

前提知識、
必要でしょうか?

  • Pythonマシンラーニング完璧ガイドの5章(回帰)まで理解またはこれに準ずる選手知識

  • SQLの基本について

こんにちは
です。

26,378

受講生

1,323

受講レビュー

3,983

回答

4.9

講座評価

14

講座

(전) 엔코아 컨설팅

(전) 한국 오라클

AI 프리랜서 컨설턴트

파이썬 머신러닝 완벽 가이드 저자

カリキュラム

全体

117件 ∙ (24時間 27分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

27件

4.9

27件の受講レビュー

  • freedom07님의 프로필 이미지
    freedom07

    受講レビュー 7

    平均評価 5.0

    5

    93% 受講後に作成

    Pythonマシンラーニング完璧ガイドを通してクォンチョルミン先生を初めて知りました。その講義を通して非専攻者だった私は、あきらめようとしたこの分野をあきらめないことができました。 現在、この分野で仕事をしながらこのようにインフラ講義を聞き、勉強も着実にしています。 先生に感謝するというお言葉を伝えたくて、最初に質問回答事案に先生に感謝しているとおっしゃいましたが、先生が着実にすれば努力したことを成し遂げられると応援しながらおっしゃっていただきました。 今後も先生が講義することを着実に聞く予定です。 ^^ㅎㅎそれほど本当に教えてくれます。 クォンチョルミン先生この席を借りて、心から本当にありがとうございます。

    • dooleyz3525
      知識共有者

      こんなに胸のムククルの受講評を残してくださると私がもっと感銘を受けました。 講義を作る手間を一瞬にして報われる文章なので、私はむしろ感謝しなければならないようです。これからもずっとこのように精進していけば、望むすべてのこと確実にすべて成就します。ありがとうございます。

  • egs41님의 프로필 이미지
    egs41

    受講レビュー 54

    平均評価 5.0

    5

    10% 受講後に作成

    講師の辞書や声に集中するのが良かったし、コンテンツもしっかりしています。これからも良い講義を作ってください。ありがとうございます。

    • iamcodingcat님의 프로필 이미지
      iamcodingcat

      受講レビュー 13

      平均評価 5.0

      5

      54% 受講後に作成

      クォンチョルミンの講義シリーズをずっと入ってきた受講生です!それでも質の高い講義を提供してくれてありがとう!そして、Spark講義がScala、Javaで構成された講義を何度も見ましたが、PythonでSparkを教えてくれる講義は初めてだったので良かったようですね!まだ頑張っていませんが、まだ簡単な文法もできるだけ簡単に教えてあげたいのが一番ですね!そして、繰り返し熟達を誘導するために様々な実習資料を提供していただくのも良いです!これから他の講義も期待になります!

      • gomjong님의 프로필 이미지
        gomjong

        受講レビュー 8

        平均評価 4.9

        5

        100% 受講後に作成

        おかげでスパークについて知りました。

        • indizz4933님의 프로필 이미지
          indizz4933

          受講レビュー 1

          平均評価 5.0

          5

          100% 受講後に作成

          冷静に教えてくれてありがとう。

          ¥11,891

          dooleyz3525の他の講座

          知識共有者の他の講座を見てみましょう!

          似ている講座

          同じ分野の他の講座を見てみましょう!