강의

멘토링

커뮤니티

BEST
Data Science

/

Data Engineering

スパークマシンラーニングパーフェクトガイド - Part 1

スパーク機械学習の中核フレームワークの理解、難易度の高い実践問題によるSQLベースのデータ処理、業務ドメイン分析によるデータ分析と最適化された機械学習モデルの実装能力まで、大容量データ基盤から機械学習の専門家として認めたい場合は、この講義と一緒にしてください。

  • dooleyz3525
한국에 이런 강의가?
압도적 분량
Apache Spark
Machine Learning(ML)
Big Data
Data Engineering

学習した受講者のレビュー

受講後に得られること

  • スパークで機械学習モデルを実装する

  • スパークのデータ処理ベースであるDataFrameの詳細な理解

  • スパークマシンラーニングフレームワークを構成するさまざまな技術要素を理解する

  • スパークの機械学習パイプラインを学ぶ

  • データ分析のためのSQL活用能力

  • SQLベースのFeature Engineering技術

  • スパークでXGBoostとLightGBMでモデルを実装する

  • ベイジアン最適化に基づくモデルハイパーパラメータのチューニング方法

  • 難易度の高い実践問題により、データ解析とMLモデル実装の実力を同時に向上

  • 分析ドメインベースのデータ分析方法

  • 様々なデータ可視化技術

[お知らせ] 本講義の実習環境としてクラウドベースで無料提供されていたDatabricks Community Editionは、新規登録ができなくなりました。そのため、実習環境はローカルSparkとJupyter環境に2025年12月5日を基準に変更されることをお知らせいたします。

ローカル環境への変更に伴う実習コードの変更は一部に限定されているため、セクション1からセクション10に該当するほとんどの講義動画はDatabricks Communityで既存に録画された動画がそのまま使用されており、主要な変更事項のみローカルSparkでの実習動画として新たに講義が構成されました。さらにセクション11からはすべてローカルSparkでの実習動画として講義が2026年1月15日まで新規構成される予定ですので、講義選択時にご参照ください。

データ分析 + 特徴量エンジニアリング + ML実装、
3つのスキルを一度に身につけましょう。

Apache Sparkと
機械学習の出会い。

オープンソース大容量分散処理ソリューションの最強者であるApache Spark(アパッチスパーク)Machine Learningが出会いました。

国内の多くの大企業や金融機関では、Apache Sparkを活用して大容量データを分析し、機械学習モデルを構築しています。Sparkは分散データ処理フレームワークをベースにしているため、少なくとも数台から多くて数十台のサーバー上で容量を拡張しながら大容量データを処理し、MLモデルを作成することができます。そのため、1台のサーバーでのみ機械学習モデルの実装が可能なscikit-learnの限界を超えることができます。


データ加工・分析にも長けた
機械学習のエキスパートへと
成長させます。

「Spark機械学習完全ガイド - Part 1」講座は、Spark(スパーク)で機械学習モデルを実装する方法を習得するだけでなく、データ加工と分析にも長けた機械学習エキスパートへと皆さんを成長させます。

真のマシンラーニング専門家として成長するためには、単にMLの実装能力だけでなく、業務データをどのように加工し組み合わせてMLモデルを作り出す能力も非常に重要です。そのため、実務で大容量データ処理に最も多く使用されるSQLを活用してデータを加工する方法業務ドメイン分析に基づいたデータ分析技法を実習を通じて身につけていただきます。

詳細な理論説明と実習を通じて、データ加工・分析およびML実装能力を養えるように構成しました。


皆さんが直面する問題を
解決いたします。

Sparkベースで機械学習モデルを実装するのは容易ではありません。それはまさにSparkアーキテクチャの特殊性に基づいた独特な機械学習APIとフレームワーク、そしてSQLに基づいたデータ処理など、既存のデータサイエンティストや機械学習専門家たちが経験したことのない多くの問題に直面するためです。

本講義、Spark機械学習完全ガイドを通じて、皆さんが直面する問題を解決する能力を養っていただきます。

「スパーク機械学習完全ガイド - Part 1」講座の前半部

講義の前半部は、SparkのMachine Learning Frameworkを構成する様々な要素であるDataFrame、SQL、Estimator、Transformer、Pipeline、Evaluatorなどについて、詳細な理論説明と豊富な実習で構成されています。これを通じて、皆さんはSparkでMLモデルを簡単かつ迅速に実装できるようになるでしょう。

また、SparkでXGBoostとLightGBMを使用する方法、ベイズ最適化に基づくHyperOptを利用してハイパーパラメータをチューニングする方法について詳しく説明いたします。

「Spark機械学習完全ガイド - Part 1」講座の後半部

現在講義の後半部KaggleのInstacart Market Basket Analysis競技大会の実習で構成されていますが、Instacart Market Basket Analysis競技大会がKaggleから削除されたことに伴い、KaggleのHome Credit Default Risk(住宅債務予測)競技大会の実習に変更される予定です(2026年1月15日までに完了予定)

難易度の高いコンペティションであるKaggleのHome Credit Default Riskコンペティションのモデル実装を通じて皆さんの実践的なデータ加工・分析能力と機械学習モデル実装能力を同時に向上させます。

このデータセットを通じて、SQLベースで業務データをどのように加工・分析し、Feature Engineeringを実行するか、また業務において分析ドメインをどのように導出するか、そしてこのように導出されたFeatureを基にどのようにモデルを生成するかについて、詳しく学ぶことになります。

💻 受講前にご確認ください!

  • 本講義の実習コードはすべてPythonベースで作成されています。Scalaは扱いませんので、講義選択前にご参照ください。

実習環境を
ご確認ください。

本講義はDockerを活用してローカルSparkとJupyterベースで実習環境を構成します。ローカルPCにDocker Desktopをインストールして実習環境を構成し、Dockerを知らなくても実習環境の構築に全く問題がないように講義を構成しました。

講義の実習コードと講義説明資料は「実習コードと説明資料のダウンロード」からダウンロードできます。


事前知識が
必要な講義です。

本講義は、受講生の皆様がPythonマシンラーニング完全ガイドの5章(回帰)またはそれに準ずる知識をお持ちであること、またSQLに関する非常に基本的な部分はご存知であることを前提として構成されておりますので、講義選択の際は上記事項をご参照ください。

Sparkは基本的な部分をご存知であれば良いですが、知らなくても講義についていくのに問題はないでしょう。

先行講義をご確認ください!

Python機械学習完全ガイド

理論中心の機械学習講座はもうやめて、
機械学習の核心概念から実践力まで簡単かつ正確に。

知識共有者のインタビューが気になる方は? (クリック)

こんな方に
おすすめです

学習対象は
誰でしょう?

  • スパークを利用して機械学習を実施したい方

  • 大容量データファンデーションで機械学習を実装したい方

  • SQLを使用して機械学習のためのデータ処理技術を向上させたい人

  • 本番で目的の形にデータを加工し、それに基づいてMLモデルを作成するすべてのプロセスを習得したい人

  • データ分析とFeature Engineering能力、ML実装を共に向上させたい方

前提知識、
必要でしょうか?

  • Pythonマシンラーニング完璧ガイドの5章(回帰)まで理解またはこれに準ずる選手知識

  • SQLの基本について

こんにちは
です。

27,115

受講生

1,391

受講レビュー

4,022

回答

4.9

講座評価

14

講座

(전) 엔코아 컨설팅

(전) 한국 오라클

AI 프리랜서 컨설턴트

파이썬 머신러닝 완벽 가이드 저자

カリキュラム

全体

122件 ∙ (24時間 23分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

28件

4.9

28件の受講レビュー

  • freedom07님의 프로필 이미지
    freedom07

    受講レビュー 7

    平均評価 5.0

    5

    93% 受講後に作成

    Pythonマシンラーニング完璧ガイドを通してクォンチョルミン先生を初めて知りました。その講義を通して非専攻者だった私は、あきらめようとしたこの分野をあきらめないことができました。 現在、この分野で仕事をしながらこのようにインフラ講義を聞き、勉強も着実にしています。 先生に感謝するというお言葉を伝えたくて、最初に質問回答事案に先生に感謝しているとおっしゃいましたが、先生が着実にすれば努力したことを成し遂げられると応援しながらおっしゃっていただきました。 今後も先生が講義することを着実に聞く予定です。 ^^ㅎㅎそれほど本当に教えてくれます。 クォンチョルミン先生この席を借りて、心から本当にありがとうございます。

    • dooleyz3525
      知識共有者

      こんなに胸のムククルの受講評を残してくださると私がもっと感銘を受けました。 講義を作る手間を一瞬にして報われる文章なので、私はむしろ感謝しなければならないようです。これからもずっとこのように精進していけば、望むすべてのこと確実にすべて成就します。ありがとうございます。

  • egs41님의 프로필 이미지
    egs41

    受講レビュー 54

    平均評価 5.0

    5

    10% 受講後に作成

    講師の辞書や声に集中するのが良かったし、コンテンツもしっかりしています。これからも良い講義を作ってください。ありがとうございます。

    • iamcodingcat님의 프로필 이미지
      iamcodingcat

      受講レビュー 13

      平均評価 5.0

      5

      54% 受講後に作成

      クォンチョルミンの講義シリーズをずっと入ってきた受講生です!それでも質の高い講義を提供してくれてありがとう!そして、Spark講義がScala、Javaで構成された講義を何度も見ましたが、PythonでSparkを教えてくれる講義は初めてだったので良かったようですね!まだ頑張っていませんが、まだ簡単な文法もできるだけ簡単に教えてあげたいのが一番ですね!そして、繰り返し熟達を誘導するために様々な実習資料を提供していただくのも良いです!これから他の講義も期待になります!

      • gomjong님의 프로필 이미지
        gomjong

        受講レビュー 8

        平均評価 4.9

        5

        100% 受講後に作成

        おかげでスパークについて知りました。

        • indizz4933님의 프로필 이미지
          indizz4933

          受講レビュー 1

          平均評価 5.0

          5

          100% 受講後に作成

          冷静に教えてくれてありがとう。

          期間限定セール、あと5日日で終了

          ¥69,300

          30%

          ¥12,399

          dooleyz3525の他の講座

          知識共有者の他の講座を見てみましょう!

          似ている講座

          同じ分野の他の講座を見てみましょう!