Data Science

Data Engineering

Xử lý Big Data (Spark) theo chia sẻ của lãnh đạo Thung lũng Silicon

Name: Xử lý Big Data (Spark) theo chia sẻ của lãnh đạo Thung lũng Silicon
Price: 108900 KRW

Xử lý dữ liệu lớn khác với xử lý dữ liệu bằng Pandas như thế nào? Chúng ta cùng tìm hiểu về Spark, một framework thiết yếu để xử lý dữ liệu lớn nhé?

(4.8) 4 đánh giá

50 học viên

keeyonghan9539

실리콘밸리

시리즈

데이터처리

Apache Spark

pyspark

Pandas

Big Data

SQL

Dịch cái này sang tiếng Việt

Spark
Xử lý dữ liệu lớn
Databricks
Spark SQL
Kỹ thuật dữ liệu

Pandas hữu ích khi xử lý lượng dữ liệu nhỏ, nhưng nó bộc lộ những hạn chế khi lượng dữ liệu tăng lên. Ngược lại, Spark là một nền tảng xử lý dữ liệu lớn đã được chứng minh và được nhiều công ty toàn cầu lựa chọn .

Nó hỗ trợ nhiều tác vụ khác nhau, từ tốc độ xử lý nhanh và khả năng mở rộng linh hoạt đến phân tích dữ liệu thời gian thực và xây dựng quy trình học máy, và được định vị là một công cụ quan trọng không chỉ trong kỹ thuật dữ liệu mà còn trong lĩnh vực AI.

Một bài giảng cung cấp điểm khởi đầu thích hợp để học Spark

Khi bạn hiểu được bối cảnh của công nghệ, việc học tiếp theo sẽ trở nên nhanh hơn và rõ ràng hơn nhiều. Khóa học này được thiết kế để giúp bạn dần dần có được kỹ năng phân tích dữ liệu lớn bằng cách tìm hiểu về sự phát triển của các hệ thống xử lý dữ liệu và quá trình chuyển đổi tự nhiên từ Pandas sang Spark.

Một khóa học bao gồm tối ưu hóa hiệu suất Spark và triển khai logic thực tế .

Khóa học này sẽ giúp bạn triển khai nhiều tình huống khác nhau, bao gồm phân tích hành vi người dùng, phân tích luồng kênh và tổng hợp doanh số.
Tìm hiểu các chiến lược cốt lõi để thiết kế và tận dụng Spark một cách nhanh chóng và linh hoạt. Ngoài ra, bạn có thể phát triển khả năng tối ưu hóa hiệu suất và triển khai logic phức tạp cần thiết cho công việc thực tế bằng cách dần dần tìm hiểu các chức năng nâng cao như phương pháp Phân vùng, Xáo trộn và Tham gia cũng như Parquet, UDF và UDAF.

Kinh nghiệm với Spark trong môi trường sản xuất , ngoài phạm vi địa phương

Khóa học này sẽ hướng dẫn bạn cách thiết lập và chạy cụm Spark bằng AWS EMR thông qua thực hành thực tế.
Từ các tính năng mới nhất của Spark 4.0 đến các luồng hoạt động trong môi trường đám mây, khóa học được thiết kế để giúp bạn có được khả năng sử dụng Spark ở cấp độ sản xuất ngoài phạm vi đào tạo tại địa phương.

Đánh giá: 4.9! Sinh viên khoa học dữ liệu của trường đại học San Jose State đánh giá cao

Khóa học này nằm trong chương trình Thạc sĩ Khoa học Dữ liệu tại Đại học San Jose State ở Hoa Kỳ và đã nhận được đánh giá cao 4,9 trong môi trường giáo dục thực tế. Đây là bài giảng thực tế được công nhận ở nước ngoài có thể giúp bạn chuẩn bị cho quá trình giới thiệu và chuyển đổi thực tế về Spark cùng lúc.

Xin chào. Tên tôi là Ki-Yong Han, và tôi là chuyên gia dữ liệu tại Thung lũng Silicon với 30 năm kinh nghiệm. Sau khi bắt đầu sự nghiệp tại Samsung Electronics, tôi đến Thung lũng Silicon ở tuổi 31 và dành 11 năm đầu tiên để phát triển công cụ tìm kiếm trên web tại Yahoo và các công ty khác, nơi tôi lần đầu tiên tiếp xúc với xử lý dữ liệu lớn. Kể từ đó, tôi đã xây dựng các nhóm dữ liệu tại các tổ chức như Udemy (được niêm yết trên NASDAQ vào năm 2021) và Polyvore (được Yahoo mua lại vào năm 2015) và đã cung cấp dịch vụ tư vấn dữ liệu cho nhiều công ty ở Thung lũng Silicon và Hàn Quốc. Dựa trên điều này, cũng như kinh nghiệm giảng dạy thạc sĩ tại Đại học San Jose State, nơi có tỷ lệ việc làm cao nhất tại Thung lũng Silicon, tôi sẽ chia sẻ những kỹ năng cần thiết cho kỹ sư dữ liệu.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

Về cơ bản là những người quan tâm đến xử lý dữ liệu lớn
Người có kinh nghiệm với Pandas và muốn mở rộng nó thành công nghệ xử lý dữ liệu lớn
Người cần xử lý dữ liệu lớn trong công việc

Cần biết trước khi bắt đầu?

Kinh nghiệm sử dụng Pandas
Python cơ bản
SQL cơ bản

Xin chào
Đây là

851

Học viên

Đánh giá

Trả lời

4.9

Xếp hạng

Các khóa học

컴퓨터 공학 석사 후 삼성전자에서 시작된 커리어가 친구덕에 실리콘밸리로 이어져 지난 29년간 13개의 다양한 스테이지의 회사를 다녔습니다 (창업, 대기업들, 다수의 스타트업들).

야후: 엔지니어링 디렉터로 검색엔진 개발.
유데미. 데이터팀을 처음 만들어 30명까지 성장. 2021년 10월에 나스닥 상장
삼성전자
...

중간에 11개월 쉬어보기도 했고 본의 아니게 엔젤투자자(Chartmetric, Goodtime.io, Select Star, EO, 비지니스 캔버스, ...), 어드바이저(몰로코, 블라인드, 월급쟁이부자들, ...), 컨설팅(SK텔레콤, 현대카드, 이마트 등등) 등의 역할을 하면서 나만의 브랜드를 만들었습니다. 실패를 실패가 아닌 교훈으로 보는 긍정의 힘과 꾸준함이라는 복리의 힘을 믿습니다.

https://www.linkedin.com/in/keeyonghan/

유투브 채널

월급쟁이부자들 강의

Chương trình giảng dạy

Tất cả

46 bài giảng ∙ (11giờ 25phút)

Tài liệu khóa học:

Tài liệu bài giảng

Phần 1. Giới thiệu quy trình

4 bài giảng ∙ (14phút)

1. Giới thiệu giảng viên
05:29
2. Giới thiệu bài giảng
08:31
3. tài liệu giảng dạy
4. (2025.07.22) Thay đổi môi trường thực hành do ngừng Databricks Community Edition

Phần 2. Từ dữ liệu Small đến dữ liệu Big

5 bài giảng ∙ (1giờ 2phút)

5. Sự phát triển của hệ thống dữ liệu: Small -> Big
17:07
6. Định nghĩa và ví dụ về dữ liệu lớn
06:52
7. Đặc điểm của xử lý dữ liệu lớn
05:31
8. Sự xuất hiện và giới thiệu về Hadoop
17:33
9. Vấn đề của lập trình MapReduce và các giải pháp thay thế
15:09

Phần 3. Từ Pandas sang Spark!

8 bài giảng ∙ (2giờ 39phút)

10. Giới thiệu Pandas
09:03
11. So sánh Pandas và Spark thông qua các ví dụ
26:37
12. Giới thiệu Spark
10:34
13. Giới thiệu kiến trúc Spark và môi trường thực hành
19:51
14. Cấu trúc chương trình Spark
24:33
15. Thực hành cấu trúc chương trình Spark
21:09
16. So sánh hiệu suất giữa Pandas và Spark thông qua các ví dụ
17:53
17. So sánh hiệu suất giữa Pandas và Spark thông qua ví dụ (Thực hành)
29:39

Phần 4. Lập trình Spark

12 bài giảng ∙ (3giờ 27phút)

Phần 5. Thực hành và mở rộng

15 bài giảng ∙ (3giờ 53phút)

Phần 6. Kết thúc và bước tiếp theo

2 bài giảng ∙ (9phút)

Ngày đăng:

Cập nhật lần cuối:

Đánh giá

Tất cả

4 đánh giá

4.8

4 đánh giá

gs
Đánh giá 1
∙
Đánh giá trung bình 5.0
5
30% đã tham gia
YEONSOO LIM
Đánh giá 1
∙
Đánh giá trung bình 4.0
4
30% đã tham gia
diazepam57
Đánh giá 10
∙
Đánh giá trung bình 5.0
5
60% đã tham gia
everythx
Đánh giá 10
∙
Đánh giá trung bình 5.0
5
32% đã tham gia
고스펙의 실무와 대학강의를 겸비하셔서인지 이해가 쉽게됩니다

2.298.364 ₫

Khóa học khác của keeyonghan9539

Hãy khám phá các khóa học khác của giảng viên!

실리콘밸리 데이터 리더가 알려주는 Airflow 기초

한기용

AI 시대가 도래하면서, 데이터 파이프라인 구성은 기업 경쟁력을 좌우하는 핵심 역량으로 자리 잡았습니다. 가장 널리 사용되는 Airflow를 활용해 효율적인 데이터 파이프라인을 구축하는 노하우를, 실전 경험과 풍부한 강의 경력을 지닌 실리콘밸리 전문가(前 유데미 데이터팀 헤드, 現 산호세 주립대 데이터 석사 과정 교수)에게 직접 배워보세요.

초급

airflow, snowflake, SQL

실리콘밸리 데이터 리더가 알려주는 Airflow 기초

한기용

실리콘밸리 데이터 리더가 알려주는 기초 SQL

한기용

데이터를 하는 사람이라면 꼭 알아야하는 기본 기술은 SQL입니다. 이번 강의에서는 SQL을 데이터 분석이란 관점에서 실습 위주로 학습해보겠습니다. 실습은 DuckDB를 가지고 Google Colab에서 진행합니다.

초급

SQL, 데이터 리터러시, 데이터 엔지니어링

실리콘밸리 데이터 리더가 알려주는 기초 SQL

한기용

[멘토링] 데이터로 미래를 그리다: 모두를 위한 데이터 리터러시

한기용

데이터에 관심있는 개인이나 리더를 대상으로 데이터 팀이 하는 일을 소개하고 조직의 데이터 활용 능력을 나타내는 데이터 문해력이 어떤 것인지 소개합니다.

입문

데이터 리터러시, 데이터 엔지니어링, 데이터 트랜스포메이션

[멘토링] 데이터로 미래를 그리다: 모두를 위한 데이터 리터러시

한기용

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

실리콘밸리 데이터 리더가 알려주는 기초 SQL

한기용

초급

SQL, 데이터 리터러시, 데이터 엔지니어링

실리콘밸리 데이터 리더가 알려주는 기초 SQL

한기용

업무에 바로 써먹는 데이터 마인드(데이터 리터러시) 향상 방법

한국사회능력개발원

데이터 분석 경험도 별다른 기술도 없는 기획자, 마케터가 가장 기초적인 수준에서 데이터 분석을 해볼 수 있는 방법을 다양한 사례와 함께 알려 드립니다. 여러 해 동안 100여 개 기업과 공공기관 등에서 2천여 명에 이르는 수강자들과 함께 실습하며 데이터 비전문가 입장에서 가장 현실적으로 활용 가능한 분석법으로 내용을 구성했습니다.

입문

데이터 리터러시, 빅데이터, 머신러닝

업무에 바로 써먹는 데이터 마인드(데이터 리터러시) 향상 방법

한국사회능력개발원

실리콘밸리 데이터 리더가 알려주는 Airflow 기초

한기용

초급

airflow, snowflake, SQL

실리콘밸리 데이터 리더가 알려주는 Airflow 기초

한기용

[2025] SQLD 문제가 어려운 당신을 위한 노랭이 176 문제 풀이

데이터코드랩

공부는 했지만 문제를 풀지 못하는 당신을 위한 SQLD 노랭이 176 문제 풀이 강의. 완강 후 합격을 넘어 전문가가 됩니다. SQLD 올인원패스!

초급

SQL, SQLD, 빅데이터

[2025] SQLD 문제가 어려운 당신을 위한 노랭이 176 문제 풀이

데이터코드랩

[무료]기초 텍스트마이닝: 앱 리뷰 분석 with 파이썬(40분 완성)

HappyAI

이 강의는 파이썬을 활용한 텍스트마이닝 분석에 관한 기초 이론과 실습을 배울 수 있습니다. 실무나 논문 작성 시 필요한 기초적인 텍스트마이닝 데이터 분석 기법을 설명합니다.

초급

텍스트마이닝, 빅데이터, NLP

[무료]기초 텍스트마이닝: 앱 리뷰 분석 with 파이썬(40분 완성)

HappyAI

데이터입문자를 위한 Azure 데이터 기초 완전정복

이상희강사

Microsoft AZ-900 자격을 동시에 대비 할 수 있는 이론적 토대를 마련 할 수 있는 특강이며 2025년 5월 기준의 출제 범위를 반영한 최신 콘텐트로서 핵심 데이터 개념 ,Azure의 관계형 데이터 ,Azure의 비관계형 데이터,Azure의 분석 워크로드에 관련된 내용을 이론과 실습이 겸비된 형태로 제공함으로서 자격증 취득은 물론 데이터 전문가로의 첫걸음 다지는 의미있는 교육 기회로 활용 할 수 있습니다

입문

SQL, 빅데이터, 데이터 엔지니어링

데이터입문자를 위한 Azure 데이터 기초 완전정복

이상희강사

모르면 퇴사각? 데이터 엔지니어링 정석

미쿡엔지니어

데이터 시대, 진정한 가치를 발견하라! 📊 데이터에 집중된 어플리케이션 설계는 이제 필수가 되었습니다. 최신 트렌드와 실무 중심의 사례로 회사가 원하는 인사이트와 실력을 키워보세요. 효율적인 데이터 처리와 설계 비법, 지금 바로 시작하세요! 당신의 다음 스텝, 데이터 중심의 세계로 도약하세요!

초급

빅데이터, 데이터 엔지니어링, 아키텍처

모르면 퇴사각? 데이터 엔지니어링 정석

미쿡엔지니어

데이터 분석 SQL Fundamentals

권 철민

SQL의 핵심 요소에 대한 상세한 강의와 실습을 통해, 여러분이 SQL 분석 전문가로 성장할 수 있도록 흔들리지 않는 뼈대를 만들어 드리겠습니다.

초급

SQL, PostgreSQL, DBMS/RDBMS

데이터 분석 SQL Fundamentals

권 철민

R을 활용한 빅데이터 및 통계분석

한국사회능력개발원

R프로그래밍을 이용해 누구나 빅데이터 분석을 할 수 있도록 데이터의 기본적인 개념, R의 유용한 함수와 패키지, 데이터 분석 실습을 담았습니다.

입문

R, 빅데이터

R을 활용한 빅데이터 및 통계분석

한국사회능력개발원

[관리코스 #3] DE, DBA (SSIS, SSAS, MachineLearning, BI, ETL)

개발자Park

SSIS, SSAS, MachineLearning, BI, ETL. 국내의 도서, 유튜브, 강의, 블로그, 학원에서 찾아볼 수 없는 중요한 기술을 배울 수 있습니다. 국내 대기업, 미국 대기업 및 미국 주정부 자금 지원 기관 취업에 관심 있는 분들께도 추천해요.

초급

빅데이터, ssis, ssas

[관리코스 #3] DE, DBA (SSIS, SSAS, MachineLearning, BI, ETL)

개발자Park

Xử lý Big Data (Spark) theo chia sẻ của lãnh đạo Thung lũng Silicon

Dịch cái này sang tiếng Việt

Kỹ sư Thung lũng Silicon giải thích
Thực hành thiết kế đường ống dữ liệu

Spark, tiêu chuẩn cho xử lý dữ liệu quy mô lớn

Tại sao bạn nên tham gia khóa học này

Tìm hiểu về những điều này

Tôi giới thiệu điều này cho những người này

Sau giờ học

Những hiểu biết sâu sắc từ các chuyên gia dữ liệu lớn đã được chứng minh tại Thung lũng Silicon

Những điều cần lưu ý trước khi tham gia lớp học

Môi trường thực hành

Tài liệu học tập

Kiến thức và ghi chú của người chơi

Khuyến nghị cho
những người này

Xin chào
Đây là

Chương trình giảng dạy

Đánh giá

Khóa học khác của keeyonghan9539

Khóa học tương tự

Xử lý Big Data (Spark) theo chia sẻ của lãnh đạo Thung lũng Silicon

Dịch cái này sang tiếng Việt

Kỹ sư Thung lũng Silicon giải thích Thực hành thiết kế đường ống dữ liệu

Spark, tiêu chuẩn cho xử lý dữ liệu quy mô lớn

Tại sao bạn nên tham gia khóa học này

Tìm hiểu về những điều này

Tôi giới thiệu điều này cho những người này

Sau giờ học

Những hiểu biết sâu sắc từ các chuyên gia dữ liệu lớn đã được chứng minh tại Thung lũng Silicon

Những điều cần lưu ý trước khi tham gia lớp học

Môi trường thực hành

Tài liệu học tập

Kiến thức và ghi chú của người chơi

Khuyến nghị cho những người này

Xin chàoĐây là .css-1q3zd4q{text-decoration-line:underline;text-underline-position:under;text-underline-offset:1px;}

Chương trình giảng dạy

Đánh giá

Khóa học khác của keeyonghan9539

Khóa học tương tự

Kỹ sư Thung lũng Silicon giải thích
Thực hành thiết kế đường ống dữ liệu

Khuyến nghị cho
những người này

Xin chào
Đây là