inflearn logo
inflearn logo

実践で孊ぶSpark入門 Part1

この講矩を通じお、䌁業のApache Sparkプロゞェクトをすぐに遂行できるようになりたす。

29名 が受講䞭です。

難易床 初玚

受講期間 12か月

Apache Spark
Apache Spark
Big Data
Big Data
Machine Learning(ML)
Machine Learning(ML)
data-transformation
data-transformation
Apache Spark
Apache Spark
Big Data
Big Data
Machine Learning(ML)
Machine Learning(ML)
data-transformation
data-transformation

受講埌に埗られるこず

  • Sparkベヌスの䞻芁コマンドの䜿甚方法

  • Sparkベヌスのデヌタサむ゚ンス

実践で孊ぶ Spark Part 1

講矩玹介

「実践で孊ぶ Spark Part 1」は、デヌタサむ゚ンスに初めお觊れる孊習者から、Sparkを掻甚した実務プロゞェクトを準備する実묎担圓者たで、すべおの人を察象に蚭蚈された実践䞭心の講矩です。この講矩は、Sparkの基本抂念から実務での掻甚方法たで䜓系的に孊習できるように構成されおおり、特にSparkプロゞェクトの遂行に䞍可欠なコマンドずデヌタ凊理方法を重点的に扱いたす。

@Apache Spark, @ビッグデヌタ, @機械孊習, @デヌタ゚ンゞニアリング, @デヌタトランスフォヌメヌション

講矩の目暙

  • Sparkの基本原理ず環境蚭定: Sparkの動䜜原理ず環境構築方法を習埗し、ロヌカルおよびDocker環境で効率的に掻甚できるようになりたす。

  • 分散デヌタ凊理ず最適化: Sparkの分散凊理の抂念やデヌタパヌティション、シャッフル、クラスタヌリ゜ヌス構成などを実習し、倧芏暡デヌタ凊理の基瀎を固めたす。

  • 実務䞭心のデヌタ凊理技術の習埗: さたざたなSparkコマンドを通じおデヌタのロヌド、倉換、フィルタリング、結合を行い、高床なデヌタ凊理手法を孊習したす。

  • デヌタ分析ず可芖化胜力の育成: SparkのデヌタフレヌムずSQLコマンドを掻甚しおデヌタを分析し、結果を可芖化したす。


カリキュラム構成

  1. オリ゚ンテヌション

    • Sparkの抂念ず実務での掻甚可胜性を玹介し、孊習の方向性を提瀺したす。

  2. Spark環境の構成

    • ロヌカル環境およびDockerを掻甚したSparkのむンストヌルず蚭定方法を習埗し、実習環境を構築したす。

  3. 分散凊理の抂念

    • Sparkが倧芏暡デヌタを凊理する方匏ず、分散凊理の基本原理を孊習したす。

  4. Sparkの動䜜理解

    • Lazy Operation、パヌティション、シャッフルなどの栞心的な動䜜原理を、Jupyter NotebookずSpark UIを通じお芖芚的に理解したす。

  5. 実践 Spark 必須コマンド

    • デヌタロヌド、日付フィルタリング、join、aggregation、UDFの掻甚、デヌタ保存など、実務で頻繁に䜿甚されるコマンドを習埗したす。

    • SQLコマンドを効率的に掻甚する方法も含たれたす。

  6. 高床なデヌタ凊理

    • 文字列デヌタの凊理、null倀の凊理、JSONデヌタの扱い、パヌティションの最適化など、実務でよく盎面する問題を解決するための高床な技術を孊習したす。


誰のための講座ですか

  • Sparkの基瀎から実践的な掻甚法たで孊びたい初玚孊習者

  • Sparkを掻甚したデヌタ分析および゚ンゞニアリング技術を習埗したいデヌタ゚ンゞニア

  • 䌁業のSparkプロゞェクトを遂行したり、拡匵可胜なデヌタパむプラむンを構築したりするこずを目指す実務専門家


受講埌の期埅効果

  • Sparkを掻甚したデヌタ凊理および分析胜力を身に぀け、䌁業におけるSparkプロゞェクトの遂行胜力を確保するこずができたす。

  • 実務でデヌタをロヌド、倉換、保存し、倧芏暡デヌタを効率的に凊理するノりハりを習埗したす。

  • Part 2で扱うクラりド環境のSparkプロゞェクトに向けた基瀎を、しっかりず固めるこずができたす。


Sparkを初めお開始する方や、デヌタ凊理の実務的なスキルを身に぀けたい方にずっお、「実践で孊ぶSpark Part 1」は完璧な出発点ずなるでしょう。デヌタサむ゚ンスの䞖界ぞ䞀緒に螏み出したしょう 🎓✚

こんな方に
おすすめです

孊習察象は
誰でしょう

  • Sparkを初めお䜿う人

  • Sparkの䌁業プロゞェクトを遂行したい人

前提知識、
必芁でしょうか

  • Python基瀎ごく初歩的なレベル

こんにちは
nexthumansです。

170

受講生

15

受講レビュヌ

29

回答

4.9

講座評䟡

3

講座

珟圚、倧䌁業を䞭心に以䞋のようなプロゞェクトの開発責任およびコンサルティングを担圓しおいたす。珟圹^^です。

あわせお、高麗倧孊倧孊院で人工知胜関連の兌任教授ずしおも掻動しおいたす。

私の目暙は、実戊ですぐに掻甚できる臚堎感あふれるプログラミング技術を䌝えるこずです。これから倚くの皆さんず共に、楜しい授業を䜜っおいきたいず思っおいたす。

  • ゚ンタヌプラむズAIアヌキテクチャおよびサヌビス蚭蚈

  • 機械孊習サヌビスの実装

  • バック゚ンドサヌビス開発

  • クラりド(Azure) Databricks、ETL、Fabricなど、各皮クラりド環境におけるデヌタベヌス構築およびサヌビス開発

もっず芋る

カリキュラム

党䜓

48件 ∙ (10時間 33分)

講座掲茉日: 
最終曎新日: 

受講レビュヌ

ただ十分な評䟡を受けおいない講座です。
みんなの圹に立぀受講レビュヌを曞いおください

nexthumansの他の講座

知識共有者の他の講座を芋おみたしょう

䌌おいる講座

同じ分野の他の講座を芋おみたしょう

ï¿¥12,428