Inflearn brand logo image
Inflearn brand logo image
Inflearn brand logo image
Data Science

/

Data Engineering

実践スパークを真似て学ぶ Part1

このコースを通じて、企業の Apache Spark プロジェクトをすぐに実行できるようになります。

17名 が受講中です。

  • nexthumans
실습 중심
명령어
데이터엔지니어
데이터처리
Apache Spark
Big Data
Machine Learning(ML)
data-transformation

こんなことが学べます

  • Spark ベースの主要コマンドの使用法

  • スパークベースのデータサイエンス

フォローする本番Spark Part 1

講義紹介

「従う実践Spark Part 1」は、データサイエンスに初めて接する学習者からSparkを活用した実務プロジェクトを準備する実務者まで、すべてを対象に設計された実戦中心の講義です。このレッスンは、Sparkの基本的な概念から実践的な活用法まで体系的に学習できるように構成されています。

@Apache Spark、@ビッグデータ、@マシンラーニング、@データエンジニアリング、@データトランスフォーメーション

講義目標

  • Sparkの基本原理と環境設定:Sparkの動作原理と環境の構成方法を学び、ローカル環境やDocker環境で効率的に活用できます。

  • 分散データ処理と最適化:Sparkの分散処理概念とデータパーティション、シャッフル、クラスタリソースの構成などを実践し、大規模なデータ処理の基礎を築きます。

  • 実務中心のデータ処理技術の習得:さまざまなSpark命令を介してデータをロード、変換、フィルタリング、組み合わせ、高度なデータ処理技術を学びます。

  • データ分析と可視化能力のインキュベーション:SparkのデータフレームとSQLコマンドを利用してデータを分析し、結果を可視化します。


カリキュラムの設定

  1. オリエンテーション

    • Sparkの概念と実務活用の可能性を紹介し、学習の方向性を提示します。

  2. Spark環境の設定

    • ローカル環境とDockerを活用したSparkのインストールと設定方法を習得し、練習環境を構成します。

  3. 分散処理の概念

    • Sparkが大規模データを処理する方法と分散処理の基本原理を学習します。

  4. Sparkの動作について

    • Lazy Operation、パーティション、シャッフルなどの重要な動作原理を、Jupyter NotebookとSpark UIを介して視覚的に理解します。

  5. 本番Spark必須命令

    • データのロード、日付のフィルタリング、join、aggregation、UDFの活用、データの保存など、実務でよく使われる命令を習得します。

    • SQLコマンドを効率的に活用する方法も含まれます。

  6. 高度なデータ処理

    • 文字列データ処理、NULL値処理、JSONデータの処理、パーティションの最適化など、実務でよく見られる問題に対処する高度な技術を学びます。


誰のための講義ですか?

  • Sparkの基本から本番活用法まで学びたい初心者学習者

  • Sparkを活用したデータ分析とエンジニアリング技術を習得したいデータエンジニア

  • 企業のSparkプロジェクトを実行したり、スケーラブルなデータパイプラインを構築したいという実務の専門家


受講後の期待効果

  • Sparkを活用したデータ処理と分析能力を備え、企業でのSparkプロジェクトの遂行能力を確保できます。

  • 実務でデータをロード、変換、保存し、大規模なデータを効率的に処理するノウハウを習得します。

  • パート2では、クラウド環境のSparkプロジェクトの基礎を確実に取り組むことができます。


Sparkを初めて起動したり、データ処理の実践的なスキルを習得したい場合は、「続く本番Spark Part 1」は完璧な出発点になります。データサイエンスの世界に一緒に進みましょう! 🎓✨

こんな方に
おすすめです

学習対象は
誰でしょう?

  • スパークを初めて触る人

  • Spark 企業プロジェクトを実行したい人

前提知識、
必要でしょうか?

  • Python の基礎 (非常に低いレベル)

こんにちは
です。

102

受講生

9

受講レビュー

16

回答

4.9

講座評価

3

講座

현재 대기업 중심으로 아래와 같은 프로젝트의 개발책임 및 컨설팅을 맡고 있습니다. 현역^^입니다.

더불어, 고려대 대학원에서 인공지능 관련 겸임교수로도 활동하고 있습니다.

저의 목표는 실전에 바로 써먹을 수 있는 현장감 있는 프로그래밍 기술입니다. 앞으로 많은 여러분과 함께 재미난 수업 만들어 나가고 싶습니다.

  • 엔터프라이즈 인공지능 구조 및 서비스 설계

  • 머신러닝 서비스 구현

  • 벡엔드 서비스 개발

  • 클라우드(Azure) Databricks, ETL, Fabric 등 각종 클라우드 환경에서의 데이터베이스 구축 및 서비스 개발

カリキュラム

全体

48件 ∙ (9時間 57分)

講座掲載日: 
最終更新日: 

受講レビュー

まだ十分な評価を受けていない講座です。
みんなの役に立つ受講レビューを書いてください!

¥11,728

nexthumansの他の講座

知識共有者の他の講座を見てみましょう!

似ている講座

同じ分野の他の講座を見てみましょう!