강의

멘토링

커뮤니티

BEST
Data Science

/

Data Engineering

スパークマシンラーニングパーフェクトガイド - Part 1

スパーク機械学習の中核フレームワークの理解、難易度の高い実践問題によるSQLベースのデータ処理、業務ドメイン分析によるデータ分析と最適化された機械学習モデルの実装能力まで、大容量データ基盤から機械学習の専門家として認めたい場合は、この講義と一緒にしてください。

  • dooleyz3525
한국에 이런 강의가?
압도적 분량
Apache Spark
Machine Learning(ML)
Big Data
Data Engineering

学習した受講者のレビュー

受講後に得られること

  • スパークで機械学習モデルを実装する

  • スパークのデータ処理ベースであるDataFrameの詳細な理解

  • スパークマシンラーニングフレームワークを構成するさまざまな技術要素を理解する

  • スパークの機械学習パイプラインを学ぶ

  • データ分析のためのSQL活用能力

  • SQLベースのFeature Engineering技術

  • スパークでXGBoostとLightGBMでモデルを実装する

  • ベイジアン最適化に基づくモデルハイパーパラメータのチューニング方法

  • 難易度の高い実践問題により、データ解析とMLモデル実装の実力を同時に向上

  • 分析ドメインベースのデータ分析方法

  • 様々なデータ可視化技術

[お知らせ] 本講義の実習環境として、これまで無料で提供されていたDatabricks Community Editionは、突然新規登録ができなくなりました。そのため、2025年11月以降、実習環境が有料のDatabricks Free Editionに変更されることをお知らせいたします。講義選択時にご参考ください。

データ分析 + フィーチャーエンジニアリング + ML実装、
3つの能力を一度に身につけてみましょう。

Apache Sparkと
機械学習の出会い。

オープンソース大容量分散処理ソリューションの最強者であるApache Spark(アパッチスパーク)Machine Learningが出会いました。

国内の多くの大企業や金融機関では、Apache Sparkを活用して大容量データを分析し、機械学習モデルを構築しています。Sparkは分散データ処理フレームワークをベースにしているため、少なくとも数台から多くて数十台のサーバー上で容量を拡張しながら大容量データを処理し、MLモデルを作成することができます。そのため、1台のサーバーでのみ機械学習モデル実装が可能なscikit-learnの限界を超えることができます。


データ加工・分析にも長けた
機械学習の専門家として
成長させて差し上げます。

「Spark機械学習完全ガイド - Part 1」講座は、Spark(スパーク)で機械学習モデルを実装する方法を習得することを超えて、データ加工と分析にも長けた機械学習専門家として皆さんを成長させてくれるでしょう。

真のマシンラーニング専門家として成長するためには、ML実装能力だけでなく、業務データをどのように加工・組み合わせてMLモデルを作り出す能力も非常に重要です。そのため、実務で大容量データ処理に最も多く使用されるSQLを活用してデータを加工する方法業務ドメイン分析に基づくデータ分析技法を実習を通して身につけることになります。

詳細な理論説明と実習を通じて、データ加工・分析およびML実装能力を身につけられるよう構成しました。


皆様が直面する問題を
解決いたします。

Sparkベースで機械学習モデルを実装するのは簡単ではありません。まさにSparkアーキテクチャの特殊性に基づく独特な機械学習APIとフレームワーク、そしてSQLに基づくデータ処理など、既存のデータサイエンティストや機械学習専門家たちが経験したことのない多くの問題に直面するためです。

この講義、Spark機械学習完璧ガイドを通じて皆さんが直面した問題を解決する能力を育てて差し上げます。

「Spark機械学習完全ガイド - Part 1」講義の前半部

講義前半部は、SparkのMachine Learning Frameworkを構成する様々な要素であるDataFrame、SQL、Estimator、Transformer、Pipeline、Evaluatorなどについて、詳細な理論説明と豊富な実習で構成されています。これにより、皆さんはSparkでMLモデルを簡単かつ迅速に実装できるようになるでしょう。

また、SparkでXGBoostとLightGBMを使用する方法、ベイジアン最適化に基づくHyperOptを利用してハイパーパラメータをチューニングする方法について詳しく説明いたします。

「Spark機械学習完全ガイド - Part 1」講義の後半部

講義の後半部では、KaggleのInstacart Market Basket Analysis競技大会の実習を通じて、皆さんの実戦データ加工・分析能力と機械学習モデル実装能力を同時に向上させます。Kaggle Instacart競技大会は難易度の高い競技であり、特にデータセットが電子商取引の注文処理テーブル(商品、注文、注文商品)で構成されています。

該当データセットを通じてSQL基盤で業務データをどのように加工・分析し、Feature Engineeringを実行するか、また業務で分析ドメインをどのように導出するか、そしてこのように導出されたFeatureを基盤にどのようにモデルを生成するかについて詳細に学習することになります。

今回リリースする「Sparkマシンラーニング完全ガイド」講座はPart 1です。Part 2講座は今後リリース予定で、テキスト分析、推薦(Recommendation)、そしてTimeSeries分析を扱う予定です。

💻 受講前にご確認ください!

  • 本講義の実習コードはすべてPythonベースで作成されています。Scalaは扱いませんので、講義選択前にご参照ください。

実習環境を
確認してください。

実習はDatabricks(データブリックス)を利用します。DatabricksはSparkをインストールしなくても、クラウド上でSpark基盤のアプリケーションを作成できるノートブック環境を提供します。

本講義の実習環境として、これまで無料で提供されていたDatabricks Community Editionは、もはや新規登録ができません。そのため、2025年11月以降、実習環境が有料のDatabricks Free Editionに変更されることをお知らせいたします。

Databricks Free Editionを使用した際の実習費用がどの程度になるかについては、2025年11月末までのテスト後に詳しくお知らせいたします。

講義実習コードと講義説明資料は「実習コードと説明資料ダウンロード」からダウンロードしていただけます。


事前知識が
必要な講義です。

本講義は受講生の皆様がPythonマシンラーニング完全ガイドの5章(回帰)またはそれに準ずる知識をお持ちであること、またSQLに関する非常に基本的な部分はご存知であることを前提として構成されておりますので、講義選択時に上記事項をご参照ください。

Sparkは基本的な部分をご存知であれば良いですが、知らなくても講義についていくのに問題はないでしょう。

前提講座を確認してください!

Python機械学習完全ガイド

理論中心の機械学習講義はもうやめて、
機械学習の核心概念から実戦能力まで簡単で正確に。

知識共有者のインタビューが気になる方は? (クリック)

こんな方に
おすすめです

学習対象は
誰でしょう?

  • スパークを利用して機械学習を実施したい方

  • 大容量データファンデーションで機械学習を実装したい方

  • SQLを使用して機械学習のためのデータ処理技術を向上させたい人

  • 本番で目的の形にデータを加工し、それに基づいてMLモデルを作成するすべてのプロセスを習得したい人

  • データ分析とFeature Engineering能力、ML実装を共に向上させたい方

前提知識、
必要でしょうか?

  • Pythonマシンラーニング完璧ガイドの5章(回帰)まで理解またはこれに準ずる選手知識

  • SQLの基本について

こんにちは
です。

26,951

受講生

1,371

受講レビュー

4,011

回答

4.9

講座評価

14

講座

(전) 엔코아 컨설팅

(전) 한국 오라클

AI 프리랜서 컨설턴트

파이썬 머신러닝 완벽 가이드 저자

カリキュラム

全体

122件 ∙ (24時間 25分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

28件

4.9

28件の受講レビュー

  • freedom07님의 프로필 이미지
    freedom07

    受講レビュー 7

    平均評価 5.0

    5

    93% 受講後に作成

    파이썬 머신러닝 완벽가이드 통해서 권철민선생님을 처음 알게 되었습니다. 그 강의를 통해서 비전공자였던 저는 포기하려고 했던 이 분야를 포기하지 않을 수 있었습니다. 현재 이 분야에서 일을 하면서 이렇게 인프런 강의를 들으며 공부도 꾸준히 하고 있습니다. 선생님께 감사하다는 말씀을 전하고 싶어서 처음에 질문답변 사안에 선생님께 감사하다는 말씀을 드렸었는데, 선생님께서 꾸준히 하면 노력한 바를 이룰 수 있을 거라고 응원하면서 말씀해주셨습니다. 앞으로도 선생님께서 강의하시는 것 꾸준히 들을 예정입니다. ^^ㅎㅎ 그만큼 정말 잘 가르쳐주십니다. 권철민 선생님 이 자리를 빌러, 진심으로 정말 감사합니다.

    • 권 철민
      知識共有者

      이렇게 가슴 뭉클한 수강평을 남겨 주시다니 제가 더 감명 받았습니다. 강의를 만드는 수고를 한 순간에 보상받는 글이여서 제가 오히려 감사드려야 할 것 같습니다. 앞으로도 계속 이렇게 정진하신다면, 원하는 모든 일 확실히 다 성취 하실 것입니다. 감사합니다.

  • egs41님의 프로필 이미지
    egs41

    受講レビュー 54

    平均評価 5.0

    5

    10% 受講後に作成

    강사님의 딕션과 목소리에 집중하기 좋았고, 컨텐츠 또한 탄탄합니다. 앞으로도 좋은 강의 만들어주세요. 감사합니다.

    • 밑바닥개발자님의 프로필 이미지
      밑바닥개발자

      受講レビュー 13

      平均評価 5.0

      5

      54% 受講後に作成

      권철민님 강의 시리즈를 쭉 들어온 수강생입니다! 여전히 양질의 강의를 제공해주셔서 감사합니다! 그리고 Spark 강의가 Scala, Java로 구성된 강의들을 몇 번 보았지만 Python으로 Spark를 알려주시는 강의는 처음이어서 더 좋았던 것 같네요! 아직 완강하지는 않았지만, 여전히 간단한 문법도 최대한 쉽게 알려주시려고 하는 게 가장 좋네요! 그리고 반복 숙달을 유도하기 위해 다양한 실습자료를 제공해주시는 것도 좋습니다! 앞으로 다른 강의들도 기대가 됩니다!

      • kjo19990606님의 프로필 이미지
        kjo19990606

        受講レビュー 8

        平均評価 4.9

        5

        100% 受講後に作成

        덕분에 spark에 대해서 알게되었고 캐글도전에도 자신감을 얻게 되었스빈다 감사합니다 !

        • 인디즈님의 프로필 이미지
          인디즈

          受講レビュー 1

          平均評価 5.0

          5

          100% 受講後に作成

          차근차근 잘 알려주셔서 감사합니다

          ¥12,351

          dooleyz3525の他の講座

          知識共有者の他の講座を見てみましょう!

          似ている講座

          同じ分野の他の講座を見てみましょう!