강의

멘토링

로드맵

Inflearn brand logo image
BEST
Data Science

/

Data Engineering

シリコンバレーのエンジニアから学ぶPython Apache Spark

シリコンバレーのソフトウェアエンジニアからビッグデータの処理方法を学び、Apache Sparkでビッグデータコードを開発する方法をPythonを使って学びます。現在14年間ソフトウェア開発者として、Webアプリケーション、ビッグデータ、SRE & DevOpsまでPythonで処理しています。Pythonを使って、ビッグデータ職種で必ず知っておくべきApache Sparkについて、簡単に深く学べる機会を絶対に逃さないでください!

  • altoformula
빅데이터분석
데이터분석가
Machine Learning(ML)
Big Data
Apache Spark
iceberg

学習した受講者のレビュー

こんなことが学べます

  • PySpark(パイスパーク)

  • Apache Spark(アパッチ スパーク)

  • ビッグデータ

  • ビッグデータ マシンラーニング

  • リアルタイムビッグデータ処理

  • Apache Cassandra

  • Apache Kafka

  • Apache Iceberg

シリコンバレーエンジニアに直接学ぶ
ビッグデータ講義を聞いてみませんか?

シリコンバレー開発者のノウハウ
私の部屋で!

ビッグデータ開発をシリコンバレー開発者のノウハウとともに簡単に学ぶことができます。

シリコンバレーを含む世界中の多くの大企業や金融機関では、Apache Sparkを活用して大容量データを分析し、機械学習モデルを作成しています。と分析するためには、今Sparkの能力は必須です。

Sparkは最初から分散データ処理フレームに基づいて作成されたため、少なくは1台から多くは数百台のサーバーで容量を拡張していき、リアルタイムでビッグデータを処理し、またこれを機械学習モデルにすることができます。 (PB)以上のデータを管理し、100TB以上のメモリを運用しています。

この講義を聞いた後は、Apache Sparkのコアフレームワークを理解し、ビッグデータを簡単に収集して加工することができ、簡単なマシンラーニングモデルを複数のサーバーに利用して作成できるはずです。を知っていれば十分に勉強できますよ。

ビッグデータ分析のためのSparkのRDDとDataframeの活用能力

機械学習フレームワークを構成するさまざまな技術要素の理解

リアルタイムデータを分析するためのSpark Streamingの理解


こんな方におすすめですよ🙋

大量のデータを扱う必要がある
バックエンド開発者

ビッグデータ分野
勉強したい開発者

火花の深い知識を学ぶ
したいデータエンジニア


こんなことを学びます📚

1. Apache Sparkについて

  • Apacheスパークの紹介
  • Docker(Docker)を使用したインストール方法
  • Data Brix Community Editionの購読と利用方法

2. Apache Spark RDDの基本的な特徴と例

  • ApacheスパークのResilient Distributed Dataset(RDD)の基本的な特徴と利用方法
  • Apache Spark RDDの例について

3. Apache Spark SQLとDataframe(データフレーム)

  • Apache Spark SQLとDataframeの導入と応用方法
  • Apache Spark SQL、データフレームの例

4. Apache Spark Engine Deep dive

  • 現業従事者もよく知らないApache Spark Engineの知識


5. Apache Spark Machine Learning(マシンラーニング)ライブラリ、MLlib

  • 簡単な機械学習のアルゴリズム
  • Apacheスパークで機械学習モデルを作成する方法

6. Apache Spark Streaming、リアルタイムデータ処理ライブラリ

  • Apacheスパークでリアルタイムデータを扱う方法


予想される質問 Q&A 💬

Q. 非専攻者も聞ける講義ですか?

はい、しかし、Pythonの基本的なスキルとデータを扱った経験があれば、理解しやすいかもしれません。

Pythonが初めての場合は、YouTubeでPythonの基礎を学んだり、以下の講義を先に受講してください!

Q. 授業内容をどのレベルまで扱いますか?

火花の基礎から、事業に必要な高度な情報まで取り上げます。

Q.なぜスパークを学ぶべきですか?

国内だけでなくシリコンバレーのほとんどの会社にスパークでビッグデータを処理しています。


知識共有者の紹介✒️

履歴

ポートフォリオ/個人映像



受講前の注意 📢

練習環境

  • オペレーティングシステムとバージョン(OS) :MacOS、Linux、Ubuntu
  • 使用ツール:最も人気のあるDockerを使用(公開ドッカー画像を使用)、DataBrics Community Edition
    • 本講義の実習はDockerで環境設定になっいます。

学習資料

  • ソースコードと添付資料の提供

こんな方に
おすすめです

学習対象は
誰でしょう?

  • Pythonの基本的な文法を知っている人

  • ビッグデータ直軍に転職したい方

  • 比較的安定したバックエンドエンジニアになりたい方

  • バックエンドエンジニアに転職したい人

  • Apache Spark の最新情報と詳細を知りたい方

前提知識、
必要でしょうか?

  • パイソン

  • Docker(ダーカー)

こんにちは
です。

10,546

受講生

716

受講レビュー

307

回答

4.8

講座評価

25

講座

한국에서 끝낼 거야? 영어로 세계 시장을 뚫어라! 🌍🚀

안녕하세요. UC Berkeley에서 💻 컴퓨터 공학(EECS)을 전공하고, 실리콘 밸리에서 15년 이상을 소프트웨어 엔지니어로 일해왔으며, 현재는 실리콘밸리 빅테크 본사에서 빅데이터와 DevOps를 다루는 Staff Software Engineer로 있습니다.

  • 🧭 실리콘 밸리의 혁신 현장에서 직접 배운 기술과 노하우를 온라인 강의를 통해 이제 여러분과 함께 나누고자 합니다.

  • 🚀 기술 혁신의 최전선에서 배우고 성장해 온 저와 함께, 여러분도 글로벌 무대에서 경쟁할 수 있는 역량을 키워보세요!

  • 🫡 똑똑하지는 않지만, 포기하지 않고 꾸준히 하면 뭐든지 이룰수 있다는 점을 꼭 말씀드리고 싶습니다. 항상 좋은 자료로 옆에서 도움을 드리겠습니다

 

カリキュラム

全体

64件 ∙ (7時間 40分)

講座資料(こうぎしりょう):

授業資料
講座掲載日: 
最終更新日: 

受講レビュー

全体

57件

4.7

57件の受講レビュー

  • Ophelie님의 프로필 이미지
    Ophelie

    受講レビュー 2

    平均評価 5.0

    5

    31% 受講後に作成

    중요한 내용만 속성으로 배우고, 샘플 데이터나 소스가 잘 정리되어 있어서 효율적으로 공부할 수 있습니다!

    • 미쿡엔지니어
      知識共有者

      안녕하세요 Ophelie님, 시간내서 좋은 리뷰 남겨주셔서 정말 감사드립니다!

  • 공준호님의 프로필 이미지
    공준호

    受講レビュー 2

    平均評価 5.0

    5

    100% 受講後に作成

    좋은 내용 쉽게 잘 이해하고 들었습니다!

    • 미쿡엔지니어
      知識共有者

      안녕하세요 공준호님, 시간내서 좋은 리뷰 남겨주셔서 감사합니다.

  • 심준걸님의 프로필 이미지
    심준걸

    受講レビュー 1

    平均評価 5.0

    5

    100% 受講後に作成

    좋은 강의 잘 수강 했습니다. 실무로 Spark 관련 업무를 진행하기 위해 수강 했는데요. 이론적인 부분과 실습을 핵심적인 내용만 잘 다뤄주셔서 도움이 많이 되었습니다.

    • 미쿡엔지니어
      知識共有者

      안녕하세요 심준걸님, 시간내서 좋은 리뷰 남겨주셔서 감사합니다. 실무에서 도움이 되었다니 기쁘네요!

  • 최규영님의 프로필 이미지
    최규영

    受講レビュー 2

    平均評価 5.0

    5

    32% 受講後に作成

    아직 수강 중이지만 전체적인 개요, 강의 구성, 설명 방식이 잘 짜여 있어 만족스럽습니다. 코드 문법을 하나하나 자세히 설명하진 않지만, 코드를 보며 실행 흐름과 동작 원리를 설명해주기 때문에, 어느 정도 코딩 경험이 있는 분이라면 이해하며 학습하기에 적합한 강의라고 생각합니다.

    • 미쿡엔지니어
      知識共有者

      안녕하세요 최규영님, 시간내서 좋은 리뷰 남겨주셔서 감사합니다.

  • gogo91rla님의 프로필 이미지
    gogo91rla

    受講レビュー 2

    平均評価 5.0

    5

    14% 受講後に作成

    현재 미국에서 Data Engineer로 커리어 변경하고 일한지 1년 정도되가는데, Spark 개념에 대해서 다시 한번 리뷰하고 모르던 내용도 배울 수 있어서 많은 도움이 됩니다!!

    • 미쿡엔지니어
      知識共有者

      안녕하세요 gogo91rla님, 시간내서 좋은 리뷰 남겨주셔서 감사합니다! 도움이 되었다니 다행입니다!

¥11,714

altoformulaの他の講座

知識共有者の他の講座を見てみましょう!

似ている講座

同じ分野の他の講座を見てみましょう!