Inflearn brand logo image
Inflearn brand logo image

N

Inflearn brand logo image
Data Science

/

Data Engineering

Big Data Processing (Spark) as Told by a Silicon Valley Leader

How is processing big data different from processing data with Pandas? Let's learn about Spark, an essential framework for big data processing.

(4.8) 4 reviews

50 learners

  • keeyonghan9539
실리콘밸리
시리즈
데이터처리
Apache Spark
pyspark
Pandas
Big Data
SQL

What you will learn!

  • Spark

  • Big data processing

  • Databricks

  • Spark SQL

  • Data Engineering

Silicon Valley Engineer Explains
Data Pipeline Design Practices

336559_1

Spark, the standard for large-scale data processing

Pandas is useful for small-scale data processing, but it shows its limitations as the data grows. On the other hand , Spark is a proven big data processing framework chosen by numerous global companies .

It supports a wide range of tasks, from fast processing speeds and flexible scalability to real-time data analysis and machine learning pipeline construction, and is positioned as a key tool not only in data engineering but also in the AI field.

336559-2

Spark is no longer just an option; it is a core technology that must be learned in large-scale data environments.
This course is designed to help those who are new to Spark gradually build the performance optimization and analysis design capabilities necessary for practical work.

Why you should take this course

A lecture that provides a proper starting point for learning Spark

Once you understand the context of the technology, subsequent learning becomes much faster and clearer. This course is designed to help you gradually learn big data analysis technology by learning about the evolution of data processing systems and the natural transition from Pandas to Spark.

A course covering Spark performance optimization and practical logic implementation .

This course will help you implement a variety of scenarios, including user behavior analysis, channel flow analysis, and sales aggregation.
Learn the core strategies for designing and utilizing Spark quickly and flexibly. You will also learn Partition, Shuffling, Join methods, and advanced features such as Parquet, UDF, and UDAF in a step-by-step manner, so you can naturally develop the performance optimization and complex logic implementation capabilities required for practical work .

Experience with Spark in a production environment , beyond local

This course will teach you how to set up and run a Spark cluster using AWS EMR through hands-on practice.
From the latest features of Spark 4.0 to operational flows in a cloud environment, it is designed to help you gain the ability to utilize Spark at a production level beyond local training.

Rated 4.9! Highly praised by San Jose State University data science students

This course is included in the Master's program in Data Science at San Jose State University in the United States, and has received a high rating of 4.9 in actual educational settings. It is a practical course recognized overseas that can prepare for Spark introduction and practical transition at the same time.

Learn about these things

1⃣ Understanding the characteristics and challenges of big data processing through the history of big data processing development
2⃣ Learn more about data processing through comparison between Pandas and Spark
3⃣ Understanding the structure of Spark programs and learning Spark SQL programming
4⃣ Learn practical Spark programming with various examples on Databricks
5⃣ Using Spark on AWS EMR and Introduction to Spark 4.0

I recommend this to these people

I'm working on analyzing and processing big data.
Data engineers/analysts/scientists who must process large amounts of data due to the nature of their work

I want to go beyond Pandas scale
Pandas users who are curious about the challenges of big data processing.

I need to understand big data processing.
Developers who need to understand big data processing, even though it is not their main job

After class

  • Understand how big data processing has evolved and what challenges it faces

  • Learn about Spark, the big data standard, its composition and program structure based on Python.

  • Based on examples, you will understand the differences with Pandas, why SQL is efficient in processing structured data, and learn how to use Spark SQL.

Insights from Silicon Valley -proven big data experts

Hello. I am Ki-Yong Han, a data expert in Silicon Valley with 30 years of experience. After starting my career at Samsung Electronics, I moved to Silicon Valley at the age of 31 and spent the first 11 years developing web search at Yahoo, where I first encountered big data processing. Since then, I have built data teams at organizations such as Udemy (listed on NASDAQ in 2021) and Polyvore (acquired by Yahoo in 2015), and have provided data consulting to various Silicon Valley and Korean companies . Based on this, I will share essential skills for data engineers based on my experience teaching master's students at San Jose State University, which boasts the highest employment rate in Silicon Valley .

image

Things to note before taking the class

Practice environment

  • We use Spark 3.5 based on Python (PySpark). We will briefly introduce Spark 4.x, which is currently in preview development, at the end.

  • The practice environment is mainly

    I use Databricks Community Edition, but I also use Google Colab, Databricks Free Trial, and AWS EMR.


Learning Materials

Player Knowledge and Notes

  • Basic Python syntax (especially Pandas)


  • Basic SQL Knowledge (Beginner)


Recommended for
these people

Who is this course right for?

  • Someone who is basically interested in big data processing

  • Someone with Pandas experience who wants to expand into big data processing technologies.

  • Someone who needs big data processing for their work.

Need to know before starting?

  • Experience using Pandas

  • Basic Python

  • Basic SQL

Hello
This is

851

Learners

49

Reviews

30

Answers

4.9

Rating

5

Courses

컴퓨터 공학 석사 후 삼성전자에서 시작된 커리어가 친구덕에 실리콘밸리로 이어져 지난 29년간 13개의 다양한 스테이지의 회사를 다녔습니다 (창업, 대기업들, 다수의 스타트업들).

  • 야후: 엔지니어링 디렉터로 검색엔진 개발.

  • 유데미. 데이터팀을 처음 만들어 30명까지 성장. 2021년 10월에 나스닥 상장

  • 삼성전자

  • ...

중간에 11개월 쉬어보기도 했고 본의 아니게 엔젤투자자(Chartmetric, Goodtime.io, Select Star, EO, 비지니스 캔버스, ...), 어드바이저(몰로코, 블라인드, 월급쟁이부자들, ...), 컨설팅(SK텔레콤, 현대카드, 이마트 등등) 등의 역할을 하면서 나만의 브랜드를 만들었습니다. 실패를 실패가 아닌 교훈으로 보는 긍정의 힘과 꾸준함이라는 복리의 힘을 믿습니다.

https://www.linkedin.com/in/keeyonghan/

유투브 채널

월급쟁이부자들 강의

Curriculum

All

46 lectures ∙ (11hr 25min)

Course Materials:

Lecture resources
Published: 
Last updated: 

Reviews

All

4 reviews

4.8

4 reviews

  • luna22ee0985님의 프로필 이미지
    luna22ee0985

    Reviews 1

    ∙

    Average Rating 5.0

    5

    30% enrolled

    • dswcrispr1733님의 프로필 이미지
      dswcrispr1733

      Reviews 1

      ∙

      Average Rating 4.0

      4

      30% enrolled

      • diazepam576079님의 프로필 이미지
        diazepam576079

        Reviews 10

        ∙

        Average Rating 5.0

        5

        60% enrolled

        • everythx님의 프로필 이미지
          everythx

          Reviews 10

          ∙

          Average Rating 5.0

          5

          32% enrolled

          高スペックな実務と大学講義を兼ねていらっしゃるためか、分かりやすいです

          $84.70

          keeyonghan9539's other courses

          Check out other courses by the instructor!

          シリコンバレーのデータリーダーが教えるAirflowの基礎강의 썸네일

          シリコンバレーのデータリーダーが教えるAirflowの基礎

          keeyonghan9539

          AI時代が到来し、データパイプラインの構築は企業の競争力を左右する核心的な力量として位置づけられています。最も広く使用されているAirflowを活用し、効率的なデータパイプラインを構築するノウハウを、実戦経験と豊富な講義経歴を持つシリコンバレーの専門家（元Udemyデータチームヘッド、現サンノゼ州立大学データ修士課程教授）から直接学んでみましょう。

          초급

          초급

          airflow, snowflake, SQL

          シリコンバレーのデータリーダーが教えるAirflowの基礎강의 썸네일

          シリコンバレーのデータリーダーが教えるAirflowの基礎

          keeyonghan9539

          シリコンバレーのデータリーダーが教える基礎SQL강의 썸네일

          シリコンバレーのデータリーダーが教える基礎SQL

          keeyonghan9539

          データを扱う人なら必ず知っておくべき基本技術はSQLです。今回の講義では、SQLをデータ分析という観点から実習中心に学習していきます。実習はDuckDBを用いてGoogle Colabで行います。

          초급

          초급

          SQL, Data literacy, Data Engineering

          シリコンバレーのデータリーダーが教える基礎SQL강의 썸네일

          シリコンバレーのデータリーダーが教える基礎SQL

          keeyonghan9539

          Similar courses

          Explore other courses in the same field!

          シリコンバレーのデータリーダーが教える基礎SQL강의 썸네일

          シリコンバレーのデータリーダーが教える基礎SQL

          keeyonghan9539

          データを扱う人なら必ず知っておくべき基本技術はSQLです。今回の講義では、SQLをデータ分析という観点から実習中心に学習していきます。実習はDuckDBを用いてGoogle Colabで行います。

          초급

          초급

          SQL, Data literacy, Data Engineering

          シリコンバレーのデータリーダーが教える基礎SQL강의 썸네일

          シリコンバレーのデータリーダーが教える基礎SQL

          keeyonghan9539

          業務にすぐ活用できるデータマインド（データリテラシー）向上方法강의 썸네일

          業務にすぐ活用できるデータマインド（データリテラシー）向上方法

          kpcre

          データ分析の経験も特別なスキルもないプランナー、マーケターが、最も基礎的なレベルでデータ分析を試せる方法を、様々な事例とともにご紹介します。長年にわたり、100以上の企業や公共機関などで2千名に及ぶ受講者の方々と共に実習しながら、データ非専門家という立場で最も現実的に活用可能な分析法として内容を構成しました。

          입문

          입문

          Data literacy, Big Data, Machine Learning(ML)

          業務にすぐ活用できるデータマインド（データリテラシー）向上方法강의 썸네일

          業務にすぐ活用できるデータマインド（データリテラシー）向上方法

          kpcre

          シリコンバレーのデータリーダーが教えるAirflowの基礎강의 썸네일

          シリコンバレーのデータリーダーが教えるAirflowの基礎

          keeyonghan9539

          AI時代が到来し、データパイプラインの構築は企業の競争力を左右する核心的な力量として位置づけられています。最も広く使用されているAirflowを活用し、効率的なデータパイプラインを構築するノウハウを、実戦経験と豊富な講義経歴を持つシリコンバレーの専門家（元Udemyデータチームヘッド、現サンノゼ州立大学データ修士課程教授）から直接学んでみましょう。

          초급

          초급

          airflow, snowflake, SQL

          シリコンバレーのデータリーダーが教えるAirflowの基礎강의 썸네일

          シリコンバレーのデータリーダーが教えるAirflowの基礎

          keeyonghan9539

          [2025] SQLD問題が難しいあなたのためのノランイ176問題解説강의 썸네일

          [2025] SQLD問題が難しいあなたのためのノランイ176問題解説

          datacodelab

          勉強はしたが問題を解けないあなたへのSQLD ノレンイ 176問題解説講座。 完講後、合格を超え専門家になります。 SQLD オールインワンパス！

          초급

          초급

          SQL, SQLD, Big Data

          [2025] SQLD問題が難しいあなたのためのノランイ176問題解説강의 썸네일

          [2025] SQLD問題が難しいあなたのためのノランイ176問題解説

          datacodelab

          [無料]基礎テキストマイニング：アプリレビュー分析 with Python（40分完成）강의 썸네일

          [無料]基礎テキストマイニング：アプリレビュー分析 with Python（40分完成）

          leejinkyu0612

          この講義では、Pythonを活用したテキストマイニング分析に関する基礎理論と実習を学ぶことができます。実務や論文作成時に必要な基礎的なテキストマイニングデータ分析手法を説明します。

          초급

          초급

          Text Mining, Big Data, NLP

          [無料]基礎テキストマイニング：アプリレビュー分析 with Python（40分完成）강의 썸네일

          [無料]基礎テキストマイニング：アプリレビュー分析 with Python（40分完成）

          leejinkyu0612

          データ入門者のためのAzureデータ基礎完全攻略강의 썸네일

          データ入門者のためのAzureデータ基礎完全攻略

          daniellee

          Microsoft AZ-900資格を同時に目指し、理論的土台を築く特講であり、2025年5月基準の出題範囲を反映した最新コンテンツとして、コアデータ概念、Azureのリレーショナルデータ、Azureの非リレーショナルデータ、Azureの分析ワークロード関連内容を、理論と実習を兼ねた形で提供することで、資格取得はもちろん、データ専門家への第一歩を踏み出す有意義な教育機会として活用可能です。

          입문

          입문

          SQL, Big Data, Data Engineering

          データ入門者のためのAzureデータ基礎完全攻略강의 썸네일

          データ入門者のためのAzureデータ基礎完全攻略

          daniellee

          知らないと退職レベル？データエンジニアリングの定石강의 썸네일

          知らないと退職レベル？データエンジニアリングの定石

          altoformula

          データ時代、真の価値を発見せよ！📊 データに集中したアプリケーション設計は、もはや必須となりました。 最新トレンドと実務中心の事例で、会社が求めるインサイトと実力を身につけましょう。 効率的なデータ処理と設計の秘訣、今すぐ始めましょう！ あなたの次のステップ、データ中心の世界へ飛躍しましょう！

          초급

          초급

          Big Data, Data Engineering, Architecture

          知らないと退職レベル？データエンジニアリングの定石강의 썸네일

          知らないと退職レベル？データエンジニアリングの定石

          altoformula

          データ分析 SQL Fundamentals강의 썸네일

          データ分析 SQL Fundamentals

          dooleyz3525

          SQL の基本要素に関する詳細な講義と実習を通じて、揺るぎない骨組みを作り、SQL 分析の専門家として成長できるようにサポートします。

          초급

          초급

          SQL, PostgreSQL, DBMS/RDBMS

          データ分析 SQL Fundamentals강의 썸네일

          データ分析 SQL Fundamentals

          dooleyz3525

          Rを活用したビッグデータ及び統計分析강의 썸네일

          Rを活用したビッグデータ及び統計分析

          kpcre

          Rプログラミングを利用して、誰でもビッグデータ分析ができるように、データの基本的な概念、Rの有用な関数とパッケージ、データ分析の実習を盛り込みました。

          입문

          입문

          R, Big Data

          Rを活用したビッグデータ及び統計分析강의 썸네일

          Rを活用したビッグデータ及び統計分析

          kpcre

          [管理コース＃3] DE、DBA（SSIS、SSAS、MachineLearning、BI、ETL）강의 썸네일

          [管理コース＃3] DE、DBA（SSIS、SSAS、MachineLearning、BI、ETL）

          vmproductor0202

          SSIS、SSAS、MachineLearning、BI、ETL。国内の書籍、YouTube、講義、ブログ、学園で見られない重要な技術を学ぶことができます。国内の大企業、米国の大企業、米国の州政府の資金援助機関の就職に興味のある方にもおすすめです。

          초급

          초급

          Big Data, ssis, ssas

          [管理コース＃3] DE、DBA（SSIS、SSAS、MachineLearning、BI、ETL）강의 썸네일

          [管理コース＃3] DE、DBA（SSIS、SSAS、MachineLearning、BI、ETL）

          vmproductor0202