강의

멘토링

로드맵

BEST
Data Science

/

Data Engineering

Hướng dẫn đầy đủ về Spark Machine Learning - Phần 1

Từ việc hiểu khung cốt lõi của học máy Spark, xử lý dữ liệu dựa trên SQL thông qua các vấn đề thực tế có độ khó cao, phân tích dữ liệu thông qua phân tích miền kinh doanh và khả năng triển khai các mô hình học máy được tối ưu hóa, bạn sẽ trở thành chuyên gia học máy dựa trên số lượng lớn data. Nếu bạn muốn được công nhận, hãy tham gia bài giảng này.

(4.9) 28 đánh giá

935 học viên

  • dooleyz3525
한국에 이런 강의가?
압도적 분량
Apache Spark
Machine Learning(ML)
Big Data
Data Engineering

Đánh giá từ những học viên đầu tiên

Dịch cái này sang tiếng Việt

  • Triển khai mô hình học máy trong Spark

  • Hiểu biết chi tiết về DataFrame, nền tảng xử lý dữ liệu của Spark

  • Hiểu các yếu tố kỹ thuật khác nhau tạo nên Khung học máy Spark

  • Tìm hiểu về quy trình học máy của Spark

  • Khả năng sử dụng SQL để phân tích dữ liệu

  • Kỹ thuật Kỹ thuật tính năng dựa trên SQL

  • Triển khai mô hình với XGBoost và LightGBM trong Spark

  • Phương pháp điều chỉnh siêu tham số mô hình dựa trên tối ưu hóa Bayesian

  • Đồng thời cải thiện kỹ năng phân tích dữ liệu và triển khai mô hình ML của bạn thông qua các bài toán thực tế đầy thách thức

  • Phương pháp phân tích dữ liệu dựa trên miền phân tích

  • Các kỹ thuật trực quan hóa dữ liệu khác nhau

Phân tích dữ liệu + kỹ thuật tính năng + triển khai ML,
Nắm vững ba năng lực cùng một lúc.

Với Apache Spark
Cuộc họp của máy học.

Apache Spark, công ty hàng đầu về các giải pháp xử lý phân tán quy mô lớn nguồn mở, đã gặp gỡ Machine Learning .

Nhiều tập đoàn và tổ chức tài chính lớn trong nước đang tận dụng Apache Spark để phân tích lượng dữ liệu lớn và xây dựng các mô hình học máy. Nhờ dựa trên nền tảng xử lý dữ liệu phân tán, Spark có thể mở rộng quy mô trên vài đến hàng chục máy chủ, xử lý lượng dữ liệu lớn và xây dựng các mô hình học máy. Điều này cho phép Spark khắc phục những hạn chế của scikit-learn, vốn chỉ cho phép triển khai các mô hình học máy trên một máy chủ duy nhất.


Cũng giỏi xử lý/phân tích dữ liệu
Là một chuyên gia về máy học
Tôi sẽ giúp bạn phát triển.

Khóa học 'Hướng dẫn đầy đủ về Spark Machine Learning - Phần 1' không chỉ dạy bạn cách triển khai các mô hình học máy trong Spark mà còn giúp bạn trở thành chuyên gia về học máy có kỹ năng xử lý và phân tích dữ liệu .

Để trở thành một chuyên gia học máy thực thụ, điều quan trọng không chỉ là nắm vững các kỹ năng triển khai ML mà còn phải hiểu cách xử lý và kết hợp dữ liệu kinh doanh để tạo ra các mô hình ML. Để đạt được điều này, bạn sẽ học cách xử lý dữ liệu bằng SQL, ngôn ngữ được sử dụng phổ biến nhất để xử lý dữ liệu quy mô lớn , và nắm vững các kỹ thuật phân tích dữ liệu thực hành dựa trên phân tích miền .

Khóa học được thiết kế để giúp bạn phát triển khả năng xử lý/phân tích dữ liệu và triển khai ML thông qua các giải thích lý thuyết chi tiết và đào tạo thực hành.


Những vấn đề bạn sẽ phải đối mặt
Chúng tôi sẽ giải quyết vấn đề này cho bạn.

Việc triển khai các mô hình học máy trên Spark rất khó khăn. Nguyên nhân là do nó đặt ra nhiều thách thức mà các nhà khoa học dữ liệu và chuyên gia học máy truyền thống chưa quen thuộc, bao gồm các API và framework học máy độc đáo dựa trên kiến trúc của Spark, cũng như xử lý dữ liệu dựa trên SQL.

Khóa học này, Hướng dẫn đầy đủ về Spark Machine Learning, sẽ giúp bạn giải quyết những vấn đề bạn gặp phải .

Nửa đầu của bài giảng 'Hướng dẫn đầy đủ về Spark Machine Learning - Phần 1'

Nửa đầu của khóa học bao gồm các giải thích lý thuyết chi tiết và thực hành chuyên sâu về các thành phần khác nhau của Khung học máy Spark, bao gồm DataFrames, SQL, Estimators, Transformers, Pipelines và Evaluators. Điều này sẽ cho phép bạn triển khai các mô hình ML trong Spark một cách nhanh chóng và dễ dàng .

Chúng tôi cũng sẽ giải thích chi tiết cách sử dụng XGBoost và LightGB trong Spark và cách điều chỉnh siêu tham số bằng HyperOpt dựa trên tối ưu hóa Bayesian.

Phần sau của bài giảng 'Hướng dẫn đầy đủ về Spark Machine Learning - Phần 1'

Nửa sau của khóa học sẽ tập trung vào việc thực hành cuộc thi Phân tích Giỏ hàng Instacart của Kaggle, đồng thời cải thiện kỹ năng xử lý/phân tích dữ liệu thực tế và triển khai mô hình học máy. Cuộc thi Instacart của Kaggle là một cuộc thi đầy thách thức, đặc biệt là khi xét đến cấu trúc của tập dữ liệu, bao gồm các bảng xử lý đơn hàng thương mại điện tử (sản phẩm, đơn hàng và mặt hàng trong đơn hàng).

Thông qua tập dữ liệu này, bạn sẽ tìm hiểu chi tiết cách xử lý và phân tích dữ liệu kinh doanh dựa trên SQL, thực hiện kỹ thuật tính năng, rút ra miền phân tích từ kinh doanh và tạo mô hình dựa trên các tính năng đã rút ra.

Đây là Phần 1 của "Hướng dẫn đầy đủ về Spark Machine Learning". Phần 2 , dự kiến phát hành sau, sẽ đề cập đến phân tích văn bản, khuyến nghị và phân tích chuỗi thời gian.

💻 Vui lòng kiểm tra trước khi tham gia lớp học!

  • Toàn bộ mã thực hành trong khóa học này được viết bằng Python. Scala không được đề cập, vì vậy vui lòng tham khảo thông tin này trước khi chọn khóa học.

Môi trường thực hành
Vui lòng kiểm tra.

Khóa đào tạo thực hành này sử dụng Databricks. Databricks cung cấp môi trường sổ ghi chép để xây dựng các ứng dụng dựa trên Spark trên đám mây mà không cần cài đặt Spark.

Databricks chính thức có sẵn để sử dụng miễn phí trong 14 ngày dưới dạng phiên bản cộng đồng .
Và trong bài giảng video ' Quản lý cụm Spark trên Databricks và sử dụng Databricks ngay cả sau 2 tuần đăng ký ' ở Phần 0, tôi giải thích cách bạn có thể tiếp tục sử dụng miễn phí sau 14 ngày, vì vậy hãy xem video đó một cách cẩn thận (để biết giải thích về phiên bản Cộng đồng Databricks, vui lòng tham khảo liên kết ).

Bạn có thể tải xuống mã thực hành bài giảng và tài liệu giải thích bài giảng từ 'Tải xuống mã thực hành và tài liệu giải thích' .


Kiến thức của người chơi
Đây là bài giảng cần thiết.

Khóa học này được thiết kế với giả định rằng sinh viên đã có kiến thức về Chương 5 (Hồi quy) của cuốn Hướng dẫn Toàn diện về Học máy Python hoặc tương đương, và cũng có hiểu biết rất cơ bản về SQL . Vui lòng tham khảo thông tin trên khi chọn khóa học.

Biết những kiến thức cơ bản về Spark rất hữu ích, nhưng bạn vẫn có thể theo học khóa học mà không cần bất kỳ kiến thức nào trước đó.

Hãy xem bài giảng của người chơi nhé!

Hướng dẫn đầy đủ về Học máy Python

Ngừng giảng dạy về máy học dựa trên lý thuyết.
Từ các khái niệm cốt lõi về máy học đến các kỹ năng thực tế, một cách dễ dàng và chính xác.

Bạn có tò mò về cuộc phỏng vấn với người chia sẻ kiến thức không? (Nhấp)

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Bất kỳ ai muốn triển khai machine learning bằng Spark

  • Những người muốn triển khai học máy dựa trên lượng lớn dữ liệu

  • Bất kỳ ai muốn cải thiện kỹ thuật xử lý dữ liệu cho machine learning bằng SQL

  • Bất kỳ ai muốn tìm hiểu toàn bộ quá trình xử lý dữ liệu thành dạng mong muốn trong thực tế và tạo mô hình ML dựa trên đó

  • Bất kỳ ai muốn cải thiện khả năng phân tích dữ liệu, kỹ năng kỹ thuật tính năng và triển khai ML

Cần biết trước khi bắt đầu?

  • Hiểu tới Chương 5 (Hồi quy) của Hướng dẫn đầy đủ về học máy Python hoặc kiến ​​thức tương đương của người chơi

  • Hiểu cơ bản về SQL

Xin chào
Đây là

26,571

Học viên

1,340

Đánh giá

3,991

Trả lời

4.9

Xếp hạng

14

Các khóa học

(전) 엔코아 컨설팅

(전) 한국 오라클

AI 프리랜서 컨설턴트

파이썬 머신러닝 완벽 가이드 저자

Chương trình giảng dạy

Tất cả

117 bài giảng ∙ (24giờ 27phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Tất cả

28 đánh giá

4.9

28 đánh giá

  • freedom07님의 프로필 이미지
    freedom07

    Đánh giá 7

    Đánh giá trung bình 5.0

    5

    93% đã tham gia

    Pythonマシンラーニング完璧ガイドを通してクォンチョルミン先生を初めて知りました。その講義を通して非専攻者だった私は、あきらめようとしたこの分野をあきらめないことができました。 現在、この分野で仕事をしながらこのようにインフラ講義を聞き、勉強も着実にしています。 先生に感謝するというお言葉を伝えたくて、最初に質問回答事案に先生に感謝しているとおっしゃいましたが、先生が着実にすれば努力したことを成し遂げられると応援しながらおっしゃっていただきました。 今後も先生が講義することを着実に聞く予定です。 ^^ㅎㅎそれほど本当に教えてくれます。 クォンチョルミン先生この席を借りて、心から本当にありがとうございます。

    • dooleyz3525
      Giảng viên

      こんなに胸のムククルの受講評を残してくださると私がもっと感銘を受けました。 講義を作る手間を一瞬にして報われる文章なので、私はむしろ感謝しなければならないようです。これからもずっとこのように精進していけば、望むすべてのこと確実にすべて成就します。ありがとうございます。

  • egs41님의 프로필 이미지
    egs41

    Đánh giá 54

    Đánh giá trung bình 5.0

    5

    10% đã tham gia

    講師の辞書や声に集中するのが良かったし、コンテンツもしっかりしています。これからも良い講義を作ってください。ありがとうございます。

    • iamcodingcat님의 프로필 이미지
      iamcodingcat

      Đánh giá 13

      Đánh giá trung bình 5.0

      5

      54% đã tham gia

      クォンチョルミンの講義シリーズをずっと入ってきた受講生です!それでも質の高い講義を提供してくれてありがとう!そして、Spark講義がScala、Javaで構成された講義を何度も見ましたが、PythonでSparkを教えてくれる講義は初めてだったので良かったようですね!まだ頑張っていませんが、まだ簡単な文法もできるだけ簡単に教えてあげたいのが一番ですね!そして、繰り返し熟達を誘導するために様々な実習資料を提供していただくのも良いです!これから他の講義も期待になります!

      • gomjong님의 프로필 이미지
        gomjong

        Đánh giá 8

        Đánh giá trung bình 4.9

        5

        100% đã tham gia

        おかげでスパークについて知りました。

        • indizz4933님의 프로필 이미지
          indizz4933

          Đánh giá 1

          Đánh giá trung bình 5.0

          5

          100% đã tham gia

          冷静に教えてくれてありがとう。

          2.088.708 ₫

          Khóa học khác của dooleyz3525

          Hãy khám phá các khóa học khác của giảng viên!

          Khóa học tương tự

          Khám phá các khóa học khác trong cùng lĩnh vực!