Inflearn brand logo image
Inflearn brand logo image
Inflearn brand logo image
BEST
Data Science

/

Data Engineering

スパークマシンラーニングパーフェクトガイド - Part 1

スパーク機械学習の中核フレームワークの理解、難易度の高い実践問題によるSQLベースのデータ処理、業務ドメイン分析によるデータ分析と最適化された機械学習モデルの実装能力まで、大容量データ基盤から機械学習の専門家として認めたい場合は、この講義と一緒にしてください。

  • dooleyz3525
한국에 이런 강의가?
압도적 분량
Apache Spark
Machine Learning(ML)
Big Data
Data Engineering

学習した受講者のレビュー

こんなことが学べます

  • スパークで機械学習モデルを実装する

  • スパークのデータ処理ベースであるDataFrameの詳細な理解

  • スパークマシンラーニングフレームワークを構成するさまざまな技術要素を理解する

  • スパークの機械学習パイプラインを学ぶ

  • データ分析のためのSQL活用能力

  • SQLベースのFeature Engineering技術

  • スパークでXGBoostとLightGBMでモデルを実装する

  • ベイジアン最適化に基づくモデルハイパーパラメータのチューニング方法

  • 難易度の高い実践問題により、データ解析とMLモデル実装の実力を同時に向上

  • 分析ドメインベースのデータ分析方法

  • 様々なデータ可視化技術

データ分析+フィーチャーエンジニアリング+ML実装、
3つの能力を一度にキャッチしてください。

Apache Sparkと
機械学習の出会い。

オープンソースの大容量分散処理ソリューションの最強者であるApache Spark(Apache Spark)Machine Learningが出会いました。

国内の多くの大企業や金融機関でApache Sparkを活用して大容量データを分析し、機械学習モデルを作成しています。 Sparkは分散データ処理フレームをベースにしているため、少なくは数台から多くは数十台のサーバー上で容量を拡張していきながら、大容量データを処理してMLモデルを作成できます。そのため、1台のサーバーでのみ機械学習モデルを実装することができるサイキランの制限を超えています。


データ加工/分析にも対応
機械学習の専門家として
成長させていただきます。

「Spark Machine Learning Complete Guide - Part 1」の講義は、Sparkで機械学習モデルを実装する方法を学ぶことを超えて、データ処理と分析にも優れた機械学習の専門家としてあなたを成長させます。

真の機械学習の専門家として成長するためには、絹のML実装能力だけでなく、業務データをどのように加工して組み合わせてMLモデルを作り出す能力も非常に重要です。このため、実務で大容量データ処理に最も多く使われるSQLを活用してデータを加工する方法と業務ドメイン分析に基づくデータ分析技術を実習を通じて習得することになります。

詳細な理論の説明と実践を通じて、データ処理/分析とML実装の能力を高めるように構成しました。


あなたが直面する問題
解決します。

スパークベースで機械学習モデルを実装することは容易ではありません。これは、スパークアーキテクチャの特殊性に基づくユニークな機械学習APIとフレームワーク、およびSQLベースのデータ処理など、既存のデータサイエンティストや機械学習の専門家が経験していない多くの問題に取り組むからです。

本講義、スパークマシンラーニング完璧ガイドを通じて、皆さんが封着した問題を解決する能力を養います。

「スパークマシンラーニング完璧ガイド - Part 1」講義の前半は

講義の前半は、Spark Machine Learning Frameworkを構成するさまざまな要素であるDataFrame、SQL、Estimator、Transformer、Pipeline、Evaluatorなどについての詳細な理論説明と豊富な実習で構成されています。これにより、SparkでMLモデルを簡単かつ迅速に実装できます。

また、スパークでXGBoostとLightGBを使用する方法、ベイジアン最適化に基づくHyperOptを使用してハイパーパラメータをチューニングする方法について詳しく説明します。

「スパークマシンラーニング完璧ガイド - パート1」の講義の後半

講義の後半は、キャグルのInstacart Market Basket Analysisコンテストの実践を通して、あなたの実践的なデータ処理/分析能力と機械学習モデルの実装能力を同時に向上させます。キャグルInstacartコンテストは難易度の高いコンテストであり、特にデータセットはeコマースの注文処理テーブル(商品、注文、注文商品)で構成されています。

データセットを使用して、SQLベースでワークデータをどのように処理して分析し、Feature Engineeringを実行するのか、仕事で分析ドメインをどのように導き出すのか、そしてこのように導出されたFeatureに基づいてモデルを作成する方法について詳しく学びます。

今回発売する「スパークマシンラーニング完璧ガイド」講義はPart 1です。パート2のレッスンは今後リリースされる予定で、テキスト分析、推奨(Recommendation)、およびTimeSeries分析を扱う予定です。

💻受講前に確認してください!

  • このレッスンの練習コードはすべてPythonベースです。 Scalaは扱いませんので、講義の選択前にご参照お願い致します。

練習環境
確認してください。

練習はDatabricks(データブリックス)を利用します。 Databricksは、Sparkをインストールせずにクラウド上にSparkベースのアプリケーションを作成できるラップトップ環境を提供します。

DatabricksはCommunityバージョンで、公式に14日間無料で利用できます。
そしてセクション0の「DatabricksでSparkクラスターを管理し、加入2週間後もDatabricksを使う」講義映像で14日以降も無料で引き続き使用できる方法についてお話ししていますのでコ~玉該当映像を確認お願いいたします(Databricks Communityバージョンの説明はリンクを参照してください)。

講義実習コードと講義説明資料は、「実習コードと説明資料のダウンロード」からダウンロードできます。


選手の知識
必要な講義です。

本講義は受講生の方々がPythonマシンラーニング完璧ガイドの5章(回帰)またはそれに準ずる知識を持っていることで、またSQLに関する非常に基本的な部分はご存知であると考えて構成されていますので、講義の選択時に上記の事項を参照してください。

Sparkは基本的な部分を知っていればいいのですが、知らなくても講義に従うことに問題はありません。

選手講義を確認してください!

Python機械学習完璧ガイド

理論中心の機械学習講義はやめ、
機械学習の中核概念から実戦能力まで簡単かつ正確に。

知識共有者のインタビューが気になったら? (クリック)

こんな方に
おすすめです

学習対象は
誰でしょう?

  • スパークを利用して機械学習を実施したい方

  • 大容量データファンデーションで機械学習を実装したい方

  • SQLを使用して機械学習のためのデータ処理技術を向上させたい人

  • 本番で目的の形にデータを加工し、それに基づいてMLモデルを作成するすべてのプロセスを習得したい人

  • データ分析とFeature Engineering能力、ML実装を共に向上させたい方

前提知識、
必要でしょうか?

  • Pythonマシンラーニング完璧ガイドの5章(回帰)まで理解またはこれに準ずる選手知識

  • SQLの基本について

こんにちは
です。

25,933

受講生

1,276

受講レビュー

3,961

回答

4.9

講座評価

13

講座

(전) 엔코아 컨설팅

(전) 한국 오라클

AI 프리랜서 컨설턴트

파이썬 머신러닝 완벽 가이드 저자

カリキュラム

全体

117件 ∙ (24時間 27分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

26件

4.9

26件の受講レビュー

  • freedom07님의 프로필 이미지
    freedom07

    受講レビュー 7

    平均評価 5.0

    5

    93% 受講後に作成

    파이썬 머신러닝 완벽가이드 통해서 권철민선생님을 처음 알게 되었습니다. 그 강의를 통해서 비전공자였던 저는 포기하려고 했던 이 분야를 포기하지 않을 수 있었습니다. 현재 이 분야에서 일을 하면서 이렇게 인프런 강의를 들으며 공부도 꾸준히 하고 있습니다. 선생님께 감사하다는 말씀을 전하고 싶어서 처음에 질문답변 사안에 선생님께 감사하다는 말씀을 드렸었는데, 선생님께서 꾸준히 하면 노력한 바를 이룰 수 있을 거라고 응원하면서 말씀해주셨습니다. 앞으로도 선생님께서 강의하시는 것 꾸준히 들을 예정입니다. ^^ㅎㅎ 그만큼 정말 잘 가르쳐주십니다. 권철민 선생님 이 자리를 빌러, 진심으로 정말 감사합니다.

    • 권 철민
      知識共有者

      이렇게 가슴 뭉클한 수강평을 남겨 주시다니 제가 더 감명 받았습니다. 강의를 만드는 수고를 한 순간에 보상받는 글이여서 제가 오히려 감사드려야 할 것 같습니다. 앞으로도 계속 이렇게 정진하신다면, 원하는 모든 일 확실히 다 성취 하실 것입니다. 감사합니다.

  • egs41님의 프로필 이미지
    egs41

    受講レビュー 53

    平均評価 5.0

    5

    10% 受講後に作成

    강사님의 딕션과 목소리에 집중하기 좋았고, 컨텐츠 또한 탄탄합니다. 앞으로도 좋은 강의 만들어주세요. 감사합니다.

    • 밑바닥개발자님의 프로필 이미지
      밑바닥개발자

      受講レビュー 13

      平均評価 5.0

      5

      54% 受講後に作成

      권철민님 강의 시리즈를 쭉 들어온 수강생입니다! 여전히 양질의 강의를 제공해주셔서 감사합니다! 그리고 Spark 강의가 Scala, Java로 구성된 강의들을 몇 번 보았지만 Python으로 Spark를 알려주시는 강의는 처음이어서 더 좋았던 것 같네요! 아직 완강하지는 않았지만, 여전히 간단한 문법도 최대한 쉽게 알려주시려고 하는 게 가장 좋네요! 그리고 반복 숙달을 유도하기 위해 다양한 실습자료를 제공해주시는 것도 좋습니다! 앞으로 다른 강의들도 기대가 됩니다!

      • kjo19990606님의 프로필 이미지
        kjo19990606

        受講レビュー 8

        平均評価 4.9

        5

        100% 受講後に作成

        덕분에 spark에 대해서 알게되었고 캐글도전에도 자신감을 얻게 되었스빈다 감사합니다 !

        • 인디즈님의 프로필 이미지
          인디즈

          受講レビュー 1

          平均評価 5.0

          5

          100% 受講後に作成

          차근차근 잘 알려주셔서 감사합니다

          ¥11,773

          dooleyz3525の他の講座

          知識共有者の他の講座を見てみましょう!

          似ている講座

          同じ分野の他の講座を見てみましょう!