강의

멘토링

커뮤니티

BEST
Data Science

/

Data Engineering

シリコンバレーのエンジニアから学ぶPython Apache Spark

シリコンバレーのソフトウェアエンジニアからビッグデータの処理方法を学び、Apache Sparkでビッグデータコードを開発する方法をPythonを使って学びます。現在14年間ソフトウェア開発者として、Webアプリケーション、ビッグデータ、SRE & DevOpsまでPythonで処理しています。Pythonを使って、ビッグデータ職種で必ず知っておくべきApache Sparkについて、簡単に深く学べる機会を絶対に逃さないでください!

難易度 中級以上

受講期間 無制限

  • altoformula
Machine Learning(ML)
Machine Learning(ML)
Big Data
Big Data
Apache Spark
Apache Spark
iceberg
iceberg
Machine Learning(ML)
Machine Learning(ML)
Big Data
Big Data
Apache Spark
Apache Spark
iceberg
iceberg

学習した受講者のレビュー

学習した受講者のレビュー

4.7

5.0

Hyunwoo Park

78% 受講後に作成

Sparkを本番で使用するのに最適な講義構成です。 いつも開発環境の構築が複雑で時間がかかり、学び始める前にエネルギーが消費されていましたが、docker-composeで一度に勉強できる環境構築方法も教えてくれて学ぶのに集中できてよかったです。 何年もSparkを使って開発してきましたが、概念を全体的に振り返りながら、私が知らなかった機能をさらに詳しく知ることができてよかったです。初心者や中級者の両方に適したSpark講義だと思います。 ありがとうございます!

5.0

오늘했던거 까먹는사람

100% 受講後に作成

deでバックエンド開発者に引っ越しましたが、再びdeをやりたくて復習する過程でいいですね。 spark UIとコードとマッピングして説明することもあればよかったと思いました。 完了後のレビュー spark UIとコードとマッピングして説明することもありましたね ストリーミングの概念がもっと必要で講義を聞いたこともあったのによかったです。 今後スパークの使い方は学んだが、どのようにデータパイプライニングを構築し、どのように構築をすべきかについての講義も出てほしいですね。

5.0

미국달팽이

93% 受講後に作成

私もシリコンバレーに住んでいますが、コンセプトからの例とストリーミングに関してはとても役に立ちました。

受講後に得られること

  • PySpark(パイスパーク)

  • Apache Spark(アパッチ スパーク)

  • ビッグデータ

  • ビッグデータ マシンラーニング

  • リアルタイムビッグデータ処理

  • Apache Cassandra

  • Apache Kafka

  • Apache Iceberg

シリコンバレーエンジニアに直接学ぶ
ビッグデータ講義を聞いてみませんか?

シリコンバレー開発者のノウハウ
私の部屋で!

ビッグデータ開発をシリコンバレー開発者のノウハウとともに簡単に学ぶことができます。

シリコンバレーを含む世界中の多くの大企業や金融機関では、Apache Sparkを活用して大容量データを分析し、機械学習モデルを作成しています。と分析するためには、今Sparkの能力は必須です。

Sparkは最初から分散データ処理フレームに基づいて作成されたため、少なくは1台から多くは数百台のサーバーで容量を拡張していき、リアルタイムでビッグデータを処理し、またこれを機械学習モデルにすることができます。 (PB)以上のデータを管理し、100TB以上のメモリを運用しています。

この講義を聞いた後は、Apache Sparkのコアフレームワークを理解し、ビッグデータを簡単に収集して加工することができ、簡単なマシンラーニングモデルを複数のサーバーに利用して作成できるはずです。を知っていれば十分に勉強できますよ。

ビッグデータ分析のためのSparkのRDDとDataframeの活用能力

機械学習フレームワークを構成するさまざまな技術要素の理解

リアルタイムデータを分析するためのSpark Streamingの理解


こんな方におすすめですよ🙋

大量のデータを扱う必要がある
バックエンド開発者

ビッグデータ分野
勉強したい開発者

火花の深い知識を学ぶ
したいデータエンジニア


こんなことを学びます📚

1. Apache Sparkについて

  • Apacheスパークの紹介
  • Docker(Docker)を使用したインストール方法
  • Data Brix Community Editionの購読と利用方法

2. Apache Spark RDDの基本的な特徴と例

  • ApacheスパークのResilient Distributed Dataset(RDD)の基本的な特徴と利用方法
  • Apache Spark RDDの例について

3. Apache Spark SQLとDataframe(データフレーム)

  • Apache Spark SQLとDataframeの導入と応用方法
  • Apache Spark SQL、データフレームの例

4. Apache Spark Engine Deep dive

  • 現業従事者もよく知らないApache Spark Engineの知識


5. Apache Spark Machine Learning(マシンラーニング)ライブラリ、MLlib

  • 簡単な機械学習のアルゴリズム
  • Apacheスパークで機械学習モデルを作成する方法

6. Apache Spark Streaming、リアルタイムデータ処理ライブラリ

  • Apacheスパークでリアルタイムデータを扱う方法


予想される質問 Q&A 💬

Q. 非専攻者も聞ける講義ですか?

はい、しかし、Pythonの基本的なスキルとデータを扱った経験があれば、理解しやすいかもしれません。

Pythonが初めての場合は、YouTubeでPythonの基礎を学んだり、以下の講義を先に受講してください!

Q. 授業内容をどのレベルまで扱いますか?

火花の基礎から、事業に必要な高度な情報まで取り上げます。

Q.なぜスパークを学ぶべきですか?

国内だけでなくシリコンバレーのほとんどの会社にスパークでビッグデータを処理しています。


知識共有者の紹介✒️

履歴

ポートフォリオ/個人映像



受講前の注意 📢

練習環境

  • オペレーティングシステムとバージョン(OS) :MacOS、Linux、Ubuntu
  • 使用ツール:最も人気のあるDockerを使用(公開ドッカー画像を使用)、DataBrics Community Edition
    • 本講義の実習はDockerで環境設定になっいます。

学習資料

  • ソースコードと添付資料の提供

こんな方に
おすすめです

学習対象は
誰でしょう?

  • Pythonの基本的な文法を知っている人

  • ビッグデータ直軍に転職したい方

  • 比較的安定したバックエンドエンジニアになりたい方

  • バックエンドエンジニアに転職したい人

  • Apache Spark の最新情報と詳細を知りたい方

前提知識、
必要でしょうか?

  • パイソン

  • Docker(ダーカー)

こんにちは
です。

20,549

受講生

1,015

受講レビュー

333

回答

4.8

講座評価

29

講座

한국에서 끝낼 거야? 영어로 세계 시장을 뚫어라! 🌍🚀

안녕하세요. UC Berkeley에서 💻 컴퓨터 공학(EECS)을 전공하고, 실리콘 밸리에서 15년 이상을 소프트웨어 엔지니어로 일해왔으며, 현재는 실리콘밸리 빅테크 본사에서 빅데이터와 DevOps를 다루는 Staff Software Engineer로 있습니다.

  • 🧭 실리콘 밸리의 혁신 현장에서 직접 배운 기술과 노하우를 온라인 강의를 통해 이제 여러분과 함께 나누고자 합니다.

  • 🚀 기술 혁신의 최전선에서 배우고 성장해 온 저와 함께, 여러분도 글로벌 무대에서 경쟁할 수 있는 역량을 키워보세요!

  • 🫡 똑똑하지는 않지만, 포기하지 않고 꾸준히 하면 뭐든지 이룰수 있다는 점을 꼭 말씀드리고 싶습니다. 항상 좋은 자료로 옆에서 도움을 드리겠습니다

 

カリキュラム

全体

65件 ∙ (7時間 46分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

75件

4.7

75件の受講レビュー

  • sewontheplash5051님의 프로필 이미지
    sewontheplash5051

    受講レビュー 2

    平均評価 5.0

    5

    31% 受講後に作成

    重要な内容だけを効率よく学べ、サンプルデータやソースがよく整理されているので、効率的に学習できます!

    • altoformula
      知識共有者

      Ophelie様、こんにちは。 お忙しい中、素敵なレビューをお寄せいただき誠にありがとうございます!

  • jh41gong5625님의 프로필 이미지
    jh41gong5625

    受講レビュー 2

    平均評価 5.0

    5

    100% 受講後に作成

    良い内容を分かりやすく説明していただき、よく理解できました!

    • altoformula
      知識共有者

      こんにちは、コン・ジュノ様。 お時間を割いて素晴らしいレビューをお寄せいただき、ありがとうございます。

  • sjg47922057님의 프로필 이미지
    sjg47922057

    受講レビュー 1

    平均評価 5.0

    5

    100% 受講後に作成

    良い講義をありがとうございました。実務でSpark関連の業務を行うために受講しましたが、理論的な部分と実習を核心的な内容に絞って扱ってくださり、大変 도움이 되었습니다。

    • altoformula
      知識共有者

      こんにちは、シム・ジュンゴル様。 お時間を割いて良いレビューをお書きいただきありがとうございます。実務でお役に立てたなら嬉しいです!

  • 427paul님의 프로필 이미지
    427paul

    受講レビュー 2

    平均評価 5.0

    5

    32% 受講後に作成

    まだ受講中ですが、全体的な概要、講義構成、説明の仕方がよくできていて満足しています。コードの文法を一つ一つ詳しく説明するわけではありませんが、コードを見ながら実行の流れと動作原理を説明してくれるので、ある程度コーディング経験のある方であれば、理解しながら学習するのに適した講義だと思います。

    • altoformula
      知識共有者

      こんにちは、チェ・キュヨン様。 お時間を割いて素晴らしいレビューをお寄せいただき、誠にありがとうございます。

  • hangman님의 프로필 이미지
    hangman

    受講レビュー 2

    平均評価 5.0

    5

    14% 受講後に作成

    現在アメリカでデータエンジニアとしてキャリアチェンジして働き始めて1年ほどになりますが、Sparkの概念についてもう一度レビューし、知らなかった内容も学ぶことができ、大変 도움이 됩니다!!

    • altoformula
      知識共有者

      こんにちは、gogo91rla様。 お時間を割いて良いレビューをお寄せいただきありがとうございます!お役に立てて幸いです!

¥12,203

altoformulaの他の講座

知識共有者の他の講座を見てみましょう!

似ている講座

同じ分野の他の講座を見てみましょう!