강의

멘토링

커뮤니티

Data Science

/

Data Engineering

実践スパークを真似て学ぶ Part1

このコースを通じて、企業の Apache Spark プロジェクトをすぐに実行できるようになります。

25名 が受講中です。

  • nexthumans
실습 중심
명령어
데이터엔지니어
데이터처리
Apache Spark
Big Data
Machine Learning(ML)
data-transformation

受講後に得られること

  • Spark ベースの主要コマンドの使用法

  • スパークベースのデータサイエンス

実践的なSparkを学ぶ Part 1

講義紹介

「実践で学ぶSpark Part 1」は、データサイエンスを初めて学ぶ学習者からSparkを活用した実務プロジェクトを準備する実務者まで、すべてを対象として設計された実践中心の講義です。この講義は、Sparkの基本概念から実務活用法まで体系的に学習できるよう構成されており、特にSparkプロジェクト遂行に必須のコマンドとデータ処理方法を重点的に扱います。

@Apache Spark, @ビッグデータ, @機械学習, @データエンジニアリング, @データトランスフォーメーション

講義目標

  • Sparkの基本原理と環境設定: Sparkの動作原理と環境構成方法を習得し、ローカル及びDocker環境で効率的に活用できます。

  • 分散データ処理と最適化: Sparkの分散処理概念とデータパーティション、シャッフル、クラスターリソース構成などを実習し、大規模データ処理の基礎を固めます。

  • 実務中心のデータ処理技術習得: 様々なSparkコマンドを通じてデータのロード、変換、フィルタリング、結合を行い、高度なデータ処理技法を学習します。

  • データ分析と可視化能力の養成:SparkのデータフレームとSQLコマンドを活用してデータを分析し、結果を可視化します。


カリキュラム構成

  1. オリエンテーション

    • Sparkの概念と実務活用の可能性を紹介し、学習方向を提示します。

  2. Spark環境構成

    • ローカル環境およびDockerを活用したSparkのインストールと設定方法を習得し、実習環境を構築します。

  3. 分散処理の概念

    • Sparkが大規模データを処理する方式と分散処理の基本原理を学習します。

  4. Sparkの動作理解

    • Lazy Operation、パーティション、シャッフルなどの核心動作原理をJupyter NotebookとSpark UIを通じて視覚的に理解します。

  5. 実戦 Spark 必須コマンド

    • データローディング、日付フィルタリング、join、aggregation、UDF活用、データ保存など実務でよく使用されるコマンドを習得します。

    • SQLコマンドを効率的に活用する方法も含まれます。

  6. 高度なデータ処理

    • 文字列データ処理、null値処理、JSONデータの扱い、パーティション最適化など、実務でよく遭遇する問題を扱う高度な技術を学習します。


誰のための講義ですか?

  • Sparkの基礎から実践活用法まで学びたい初心者学習者

  • Sparkを活用したデータ分析およびエンジニアリング技術を身につけたいデータエンジニア

  • 企業のSparkプロジェクトを実行したり、拡張可能なデータパイプラインを構築したい実務専門家


受講後の期待効果

  • Sparkを活用したデータ処理と分析能力を身につけ、企業でのSparkプロジェクト遂行能力を確保することができます。

  • 実務でデータの読み込み、変換、保存を行い、大規模データを効率的に処理するノウハウを習得します。

  • Part 2で扱うクラウド環境のSparkプロジェクトに関する基礎をしっかりと固めることができます。


Sparkを初めて始める方や、データ処理の実務的なスキルを身につけたい方には、「実践で学ぶSpark Part 1」が完璧なスタート地点となるでしょう。データサイエンスの世界へ一緒に進みましょう!🎓✨

こんな方に
おすすめです

学習対象は
誰でしょう?

  • スパークを初めて触る人

  • Spark 企業プロジェクトを実行したい人

前提知識、
必要でしょうか?

  • Python の基礎 (非常に低いレベル)

こんにちは
です。

148

受講生

15

受講レビュー

24

回答

4.9

講座評価

3

講座

현재 대기업 중심으로 아래와 같은 프로젝트의 개발책임 및 컨설팅을 맡고 있습니다. 현역^^입니다.

더불어, 고려대 대학원에서 인공지능 관련 겸임교수로도 활동하고 있습니다.

저의 목표는 실전에 바로 써먹을 수 있는 현장감 있는 프로그래밍 기술입니다. 앞으로 많은 여러분과 함께 재미난 수업 만들어 나가고 싶습니다.

  • 엔터프라이즈 인공지능 구조 및 서비스 설계

  • 머신러닝 서비스 구현

  • 벡엔드 서비스 개발

  • 클라우드(Azure) Databricks, ETL, Fabric 등 각종 클라우드 환경에서의 데이터베이스 구축 및 서비스 개발

カリキュラム

全体

48件 ∙ (10時間 18分)

講座掲載日: 
最終更新日: 

受講レビュー

まだ十分な評価を受けていない講座です。
みんなの役に立つ受講レビューを書いてください!

¥12,344

nexthumansの他の講座

知識共有者の他の講座を見てみましょう!

似ている講座

同じ分野の他の講座を見てみましょう!