강의

멘토링

로드맵

BEST
Data Science

/

Data Engineering

シリコンバレーのエンジニアから学ぶPython Apache Spark

シリコンバレーのソフトウェアエンジニアからビッグデータの処理方法を学び、Apache Sparkでビッグデータコードを開発する方法をPythonを使って学びます。現在14年間ソフトウェア開発者として、Webアプリケーション、ビッグデータ、SRE & DevOpsまでPythonで処理しています。Pythonを使って、ビッグデータ職種で必ず知っておくべきApache Sparkについて、簡単に深く学べる機会を絶対に逃さないでください!

  • altoformula
빅데이터분석
데이터분석가
Machine Learning(ML)
Big Data
Apache Spark
iceberg

学習した受講者のレビュー

こんなことが学べます

  • PySpark(パイスパーク)

  • Apache Spark(アパッチ スパーク)

  • ビッグデータ

  • ビッグデータ マシンラーニング

  • リアルタイムビッグデータ処理

  • Apache Cassandra

  • Apache Kafka

  • Apache Iceberg

シリコンバレーエンジニアに直接学ぶ
ビッグデータ講義を聞いてみませんか?

シリコンバレー開発者のノウハウ
私の部屋で!

ビッグデータ開発をシリコンバレー開発者のノウハウとともに簡単に学ぶことができます。

シリコンバレーを含む世界中の多くの大企業や金融機関では、Apache Sparkを活用して大容量データを分析し、機械学習モデルを作成しています。と分析するためには、今Sparkの能力は必須です。

Sparkは最初から分散データ処理フレームに基づいて作成されたため、少なくは1台から多くは数百台のサーバーで容量を拡張していき、リアルタイムでビッグデータを処理し、またこれを機械学習モデルにすることができます。 (PB)以上のデータを管理し、100TB以上のメモリを運用しています。

この講義を聞いた後は、Apache Sparkのコアフレームワークを理解し、ビッグデータを簡単に収集して加工することができ、簡単なマシンラーニングモデルを複数のサーバーに利用して作成できるはずです。を知っていれば十分に勉強できますよ。

ビッグデータ分析のためのSparkのRDDとDataframeの活用能力

機械学習フレームワークを構成するさまざまな技術要素の理解

リアルタイムデータを分析するためのSpark Streamingの理解


こんな方におすすめですよ🙋

大量のデータを扱う必要がある
バックエンド開発者

ビッグデータ分野
勉強したい開発者

火花の深い知識を学ぶ
したいデータエンジニア


こんなことを学びます📚

1. Apache Sparkについて

  • Apacheスパークの紹介
  • Docker(Docker)を使用したインストール方法
  • Data Brix Community Editionの購読と利用方法

2. Apache Spark RDDの基本的な特徴と例

  • ApacheスパークのResilient Distributed Dataset(RDD)の基本的な特徴と利用方法
  • Apache Spark RDDの例について

3. Apache Spark SQLとDataframe(データフレーム)

  • Apache Spark SQLとDataframeの導入と応用方法
  • Apache Spark SQL、データフレームの例

4. Apache Spark Engine Deep dive

  • 現業従事者もよく知らないApache Spark Engineの知識


5. Apache Spark Machine Learning(マシンラーニング)ライブラリ、MLlib

  • 簡単な機械学習のアルゴリズム
  • Apacheスパークで機械学習モデルを作成する方法

6. Apache Spark Streaming、リアルタイムデータ処理ライブラリ

  • Apacheスパークでリアルタイムデータを扱う方法


予想される質問 Q&A 💬

Q. 非専攻者も聞ける講義ですか?

はい、しかし、Pythonの基本的なスキルとデータを扱った経験があれば、理解しやすいかもしれません。

Pythonが初めての場合は、YouTubeでPythonの基礎を学んだり、以下の講義を先に受講してください!

Q. 授業内容をどのレベルまで扱いますか?

火花の基礎から、事業に必要な高度な情報まで取り上げます。

Q.なぜスパークを学ぶべきですか?

国内だけでなくシリコンバレーのほとんどの会社にスパークでビッグデータを処理しています。


知識共有者の紹介✒️

履歴

ポートフォリオ/個人映像



受講前の注意 📢

練習環境

  • オペレーティングシステムとバージョン(OS) :MacOS、Linux、Ubuntu
  • 使用ツール:最も人気のあるDockerを使用(公開ドッカー画像を使用)、DataBrics Community Edition
    • 本講義の実習はDockerで環境設定になっいます。

学習資料

  • ソースコードと添付資料の提供

こんな方に
おすすめです

学習対象は
誰でしょう?

  • Pythonの基本的な文法を知っている人

  • ビッグデータ直軍に転職したい方

  • 比較的安定したバックエンドエンジニアになりたい方

  • バックエンドエンジニアに転職したい人

  • Apache Spark の最新情報と詳細を知りたい方

前提知識、
必要でしょうか?

  • パイソン

  • Docker(ダーカー)

こんにちは
です。

11,217

受講生

807

受講レビュー

320

回答

4.8

講座評価

26

講座

한국에서 끝낼 거야? 영어로 세계 시장을 뚫어라! 🌍🚀

안녕하세요. UC Berkeley에서 💻 컴퓨터 공학(EECS)을 전공하고, 실리콘 밸리에서 15년 이상을 소프트웨어 엔지니어로 일해왔으며, 현재는 실리콘밸리 빅테크 본사에서 빅데이터와 DevOps를 다루는 Staff Software Engineer로 있습니다.

  • 🧭 실리콘 밸리의 혁신 현장에서 직접 배운 기술과 노하우를 온라인 강의를 통해 이제 여러분과 함께 나누고자 합니다.

  • 🚀 기술 혁신의 최전선에서 배우고 성장해 온 저와 함께, 여러분도 글로벌 무대에서 경쟁할 수 있는 역량을 키워보세요!

  • 🫡 똑똑하지는 않지만, 포기하지 않고 꾸준히 하면 뭐든지 이룰수 있다는 점을 꼭 말씀드리고 싶습니다. 항상 좋은 자료로 옆에서 도움을 드리겠습니다

 

カリキュラム

全体

65件 ∙ (7時間 46分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

64件

4.6

64件の受講レビュー

  • sewontheplash5051님의 프로필 이미지
    sewontheplash5051

    受講レビュー 2

    平均評価 5.0

    5

    31% 受講後に作成

    You can quickly learn the essentials and study efficiently, as sample data and sources are well-organized.

    • altoformula
      知識共有者

      Hello Ophelie, Thank you so much for taking the time to leave a great review!

  • jh41gong5625님의 프로필 이미지
    jh41gong5625

    受講レビュー 2

    平均評価 5.0

    5

    100% 受講後に作成

    I understood and listened to the great content easily!

    • altoformula
      知識共有者

      Hello Junho Gong, Thank you for taking the time to leave such a great review.

  • sjg47922057님의 프로필 이미지
    sjg47922057

    受講レビュー 1

    平均評価 5.0

    5

    100% 受講後に作成

    I enjoyed the lecture. I took it to do Spark-related work in practice. It was very helpful because it covered the theoretical parts and practical exercises with only the essential content.

    • altoformula
      知識共有者

      Hello Jungeol Shim, Thank you for taking the time to leave such a great review. I'm glad it was helpful in your work!

  • 427paul님의 프로필 이미지
    427paul

    受講レビュー 2

    平均評価 5.0

    5

    32% 受講後に作成

    Although I'm still taking the course, I'm satisfied with the overall outline, lecture structure, and explanation method. It doesn't explain the code syntax in detail one by one, but it explains the execution flow and operating principles while looking at the code, so I think it's a suitable lecture for those with some coding experience to understand and learn.

    • altoformula
      知識共有者

      Hello Kyu-young Choi, Thank you for taking the time to leave such a great review.

  • hangman님의 프로필 이미지
    hangman

    受講レビュー 2

    平均評価 5.0

    5

    14% 受講後に作成

    I've been working as a Data Engineer in the US for about a year after a career change, and this has been a great help in reviewing Spark concepts and learning new things!

    • altoformula
      知識共有者

      Hello gogo91rla, Thank you for taking the time to leave such a great review! I'm glad it was helpful!

¥12,127

altoformulaの他の講座

知識共有者の他の講座を見てみましょう!

似ている講座

同じ分野の他の講座を見てみましょう!