강의

멘토링

커뮤니티

BEST
Data Science

/

Data Engineering

シリコンバレーのエンジニアから学ぶPython Apache Spark

シリコンバレーのソフトウェアエンジニアからビッグデータの処理方法を学び、Apache Sparkでビッグデータコードを開発する方法をPythonを使って学びます。現在14年間ソフトウェア開発者として、Webアプリケーション、ビッグデータ、SRE & DevOpsまでPythonで処理しています。Pythonを使って、ビッグデータ職種で必ず知っておくべきApache Sparkについて、簡単に深く学べる機会を絶対に逃さないでください!

  • altoformula
빅데이터분석
데이터분석가
Machine Learning(ML)
Big Data
Apache Spark
iceberg

学習した受講者のレビュー

受講後に得られること

  • PySpark(パイスパーク)

  • Apache Spark(アパッチ スパーク)

  • ビッグデータ

  • ビッグデータ マシンラーニング

  • リアルタイムビッグデータ処理

  • Apache Cassandra

  • Apache Kafka

  • Apache Iceberg

シリコンバレーエンジニアに直接学ぶ
ビッグデータ講義を聞いてみませんか?

シリコンバレー開発者のノウハウ
私の部屋で!

ビッグデータ開発をシリコンバレー開発者のノウハウとともに簡単に学ぶことができます。

シリコンバレーを含む世界中の多くの大企業や金融機関では、Apache Sparkを活用して大容量データを分析し、機械学習モデルを作成しています。と分析するためには、今Sparkの能力は必須です。

Sparkは最初から分散データ処理フレームに基づいて作成されたため、少なくは1台から多くは数百台のサーバーで容量を拡張していき、リアルタイムでビッグデータを処理し、またこれを機械学習モデルにすることができます。 (PB)以上のデータを管理し、100TB以上のメモリを運用しています。

この講義を聞いた後は、Apache Sparkのコアフレームワークを理解し、ビッグデータを簡単に収集して加工することができ、簡単なマシンラーニングモデルを複数のサーバーに利用して作成できるはずです。を知っていれば十分に勉強できますよ。

ビッグデータ分析のためのSparkのRDDとDataframeの活用能力

機械学習フレームワークを構成するさまざまな技術要素の理解

リアルタイムデータを分析するためのSpark Streamingの理解


こんな方におすすめですよ🙋

大量のデータを扱う必要がある
バックエンド開発者

ビッグデータ分野
勉強したい開発者

火花の深い知識を学ぶ
したいデータエンジニア


こんなことを学びます📚

1. Apache Sparkについて

  • Apacheスパークの紹介
  • Docker(Docker)を使用したインストール方法
  • Data Brix Community Editionの購読と利用方法

2. Apache Spark RDDの基本的な特徴と例

  • ApacheスパークのResilient Distributed Dataset(RDD)の基本的な特徴と利用方法
  • Apache Spark RDDの例について

3. Apache Spark SQLとDataframe(データフレーム)

  • Apache Spark SQLとDataframeの導入と応用方法
  • Apache Spark SQL、データフレームの例

4. Apache Spark Engine Deep dive

  • 現業従事者もよく知らないApache Spark Engineの知識


5. Apache Spark Machine Learning(マシンラーニング)ライブラリ、MLlib

  • 簡単な機械学習のアルゴリズム
  • Apacheスパークで機械学習モデルを作成する方法

6. Apache Spark Streaming、リアルタイムデータ処理ライブラリ

  • Apacheスパークでリアルタイムデータを扱う方法


予想される質問 Q&A 💬

Q. 非専攻者も聞ける講義ですか?

はい、しかし、Pythonの基本的なスキルとデータを扱った経験があれば、理解しやすいかもしれません。

Pythonが初めての場合は、YouTubeでPythonの基礎を学んだり、以下の講義を先に受講してください!

Q. 授業内容をどのレベルまで扱いますか?

火花の基礎から、事業に必要な高度な情報まで取り上げます。

Q.なぜスパークを学ぶべきですか?

国内だけでなくシリコンバレーのほとんどの会社にスパークでビッグデータを処理しています。


知識共有者の紹介✒️

履歴

ポートフォリオ/個人映像



受講前の注意 📢

練習環境

  • オペレーティングシステムとバージョン(OS) :MacOS、Linux、Ubuntu
  • 使用ツール:最も人気のあるDockerを使用(公開ドッカー画像を使用)、DataBrics Community Edition
    • 本講義の実習はDockerで環境設定になっいます。

学習資料

  • ソースコードと添付資料の提供

こんな方に
おすすめです

学習対象は
誰でしょう?

  • Pythonの基本的な文法を知っている人

  • ビッグデータ直軍に転職したい方

  • 比較的安定したバックエンドエンジニアになりたい方

  • バックエンドエンジニアに転職したい人

  • Apache Spark の最新情報と詳細を知りたい方

前提知識、
必要でしょうか?

  • パイソン

  • Docker(ダーカー)

こんにちは
です。

19,191

受講生

916

受講レビュー

333

回答

4.8

講座評価

28

講座

한국에서 끝낼 거야? 영어로 세계 시장을 뚫어라! 🌍🚀

안녕하세요. UC Berkeley에서 💻 컴퓨터 공학(EECS)을 전공하고, 실리콘 밸리에서 15년 이상을 소프트웨어 엔지니어로 일해왔으며, 현재는 실리콘밸리 빅테크 본사에서 빅데이터와 DevOps를 다루는 Staff Software Engineer로 있습니다.

  • 🧭 실리콘 밸리의 혁신 현장에서 직접 배운 기술과 노하우를 온라인 강의를 통해 이제 여러분과 함께 나누고자 합니다.

  • 🚀 기술 혁신의 최전선에서 배우고 성장해 온 저와 함께, 여러분도 글로벌 무대에서 경쟁할 수 있는 역량을 키워보세요!

  • 🫡 똑똑하지는 않지만, 포기하지 않고 꾸준히 하면 뭐든지 이룰수 있다는 점을 꼭 말씀드리고 싶습니다. 항상 좋은 자료로 옆에서 도움을 드리겠습니다

 

カリキュラム

全体

65件 ∙ (7時間 46分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

69件

4.7

69件の受講レビュー

  • sewontheplash5051님의 프로필 이미지
    sewontheplash5051

    受講レビュー 2

    平均評価 5.0

    5

    31% 受講後に作成

    重要な内容だけを効率よく学べ、サンプルデータやソースがよく整理されているので、効率的に学習できます!

    • altoformula
      知識共有者

      Ophelie様、こんにちは。 お忙しい中、素敵なレビューをお寄せいただき誠にありがとうございます!

  • jh41gong5625님의 프로필 이미지
    jh41gong5625

    受講レビュー 2

    平均評価 5.0

    5

    100% 受講後に作成

    良い内容を分かりやすく説明していただき、よく理解できました!

    • altoformula
      知識共有者

      こんにちは、コン・ジュノ様。 お時間を割いて素晴らしいレビューをお寄せいただき、ありがとうございます。

  • sjg47922057님의 프로필 이미지
    sjg47922057

    受講レビュー 1

    平均評価 5.0

    5

    100% 受講後に作成

    良い講義をありがとうございました。実務でSpark関連の業務を行うために受講しましたが、理論的な部分と実習を核心的な内容に絞って扱ってくださり、大変 도움이 되었습니다。

    • altoformula
      知識共有者

      こんにちは、シム・ジュンゴル様。 お時間を割いて良いレビューをお書きいただきありがとうございます。実務でお役に立てたなら嬉しいです!

  • 427paul님의 프로필 이미지
    427paul

    受講レビュー 2

    平均評価 5.0

    5

    32% 受講後に作成

    まだ受講中ですが、全体的な概要、講義構成、説明の仕方がよくできていて満足しています。コードの文法を一つ一つ詳しく説明するわけではありませんが、コードを見ながら実行の流れと動作原理を説明してくれるので、ある程度コーディング経験のある方であれば、理解しながら学習するのに適した講義だと思います。

    • altoformula
      知識共有者

      こんにちは、チェ・キュヨン様。 お時間を割いて素晴らしいレビューをお寄せいただき、誠にありがとうございます。

  • hangman님의 프로필 이미지
    hangman

    受講レビュー 2

    平均評価 5.0

    5

    14% 受講後に作成

    現在アメリカでデータエンジニアとしてキャリアチェンジして働き始めて1年ほどになりますが、Sparkの概念についてもう一度レビューし、知らなかった内容も学ぶことができ、大変 도움이 됩니다!!

    • altoformula
      知識共有者

      こんにちは、gogo91rla様。 お時間を割いて良いレビューをお寄せいただきありがとうございます!お役に立てて幸いです!

期間限定セール

¥58

24%

¥12,512

altoformulaの他の講座

知識共有者の他の講座を見てみましょう!

似ている講座

同じ分野の他の講座を見てみましょう!