실리콘밸리 엔지니어와 함께하는 MLflow
미쿡엔지니어
ML 실험 관리, 아직도 수작업으로 하시나요? 🤔 MLflow로 실험 추적부터 모델 배포까지 자동화하고, 개발 생산성을 확 끌어올려 보세요! 데이터 사이언티스트와 ML 엔지니어라면 필수 스킬 💡 지금 바로 시작하세요! 🚀
입문
mlflow, 머신러닝, mlops
Bạn sẽ được học Apache Airflow, công cụ Orchestrator được sử dụng nhiều nhất khi tạo đường ống dữ liệu phần mềm.
567 học viên
Xây dựng đường ống dữ liệu
Luồng khí Apache
Giới thiệu Apache Spark
Giới thiệu MinIO
API luồng tác vụ
Tích hợp Slack
Công cụ đường truyền dữ liệu cần thiết, Airflow
Học hỏi từ các nhà phát triển ở Thung lũng Silicon! 🔥
Tìm hiểu các cài đặt đơn giản và cách sử dụng Airflow. Hãy để chúng tôi hướng dẫn bạn tạo quy trình làm việc dữ liệu đầu tiên.
Khi các nhiệm vụ phân tích và xử lý dữ liệu trở nên phức tạp hơn , các vấn đề như lập kế hoạch nhiệm vụ, quản lý phụ thuộc và xử lý lỗi trở nên quan trọng hơn. Để giải quyết hiệu quả những thách thức này, Airflow là một trong những công cụ chính được nhiều tổ chức lựa chọn.
Bài giảng này đã được chuẩn bị trước cho những người mới làm quen với Airflow. Apache Airflow rất phổ biến ở Thung lũng Silicon. Tôi sẽ giúp bạn bắt đầu một cách đơn giản và dễ dàng.
Quản lý quy trình làm việc tự động
Airflow cung cấp các tính năng lập lịch mạnh mẽ cho phép bạn tự động chạy và quản lý các tác vụ theo thời gian. Nhiệm vụ xử lý dữ liệu có thể được lập kế hoạch và thực hiện hiệu quả hơn.
Quản lý phụ thuộc
Quy trình làm việc dữ liệu phức tạp yêu cầu quản lý chính xác sự phụ thuộc giữa các tác vụ. Luồng khí cung cấp khả năng xác định rõ ràng sự phụ thuộc giữa các tác vụ và chỉ định thứ tự giữa các tác vụ.
Giám sát và thông báo mạnh mẽ
Trong khi công việc của bạn đang chạy, bạn có thể theo dõi tiến trình của nó thông qua bảng điều khiển Airflow. Ngoài ra, nếu một tác vụ không thành công hoặc xảy ra sự cố, bạn có thể phản hồi nhanh chóng thông qua các thông báo bạn đặt.
Khả năng mở rộng và linh hoạt
Airflow hỗ trợ nhiều plugin và thư viện. Nó có thể được tích hợp với nhiều kho dữ liệu, môi trường thực thi tác vụ và cơ chế thông báo khác nhau. Xây dựng quy trình làm việc tùy chỉnh để phù hợp với nhu cầu của bạn.
Cộng đồng và hệ sinh thái
Airflow có một cộng đồng sôi động và hệ sinh thái phong phú. Vì vậy, có rất nhiều tài nguyên tuyệt vời có thể giúp bạn giải quyết vấn đề của mình.
✅ Dễ dàng mà không có khái niệm khó! Chúng tôi giải thích Airflow là gì và tại sao nó lại cần thiết thông qua các ví dụ và ví dụ tương tự .
✅ Một bài giảng thực hành trong đó bạn theo dõi quy trình sử dụng Airflow thực tế và tạo quy trình làm việc dữ liệu đơn giản!
✅ Trong quá trình giảng có thắc mắc hoặc chưa hiểu gì vui lòng đặt câu hỏi bất cứ lúc nào. Tìm hiểu với phần Hỏi & Đáp !
Chúng tôi cung cấp bí quyết của các kỹ sư hiện tại ở Thung lũng Silicon!
Tôi hiện là kỹ sư phần mềm, người điều hành kênh YouTube “ American Engineer ” và kênh bữa sáng muộn “ Tin tức và cuộc sống ở Thung lũng Silicon ”. Hiện tại, tôi đã tốt nghiệp EECS, Đại học California, Berkeley và đang làm việc về dữ liệu lớn tại trụ sở của một công ty công nghệ lớn toàn cầu ở Thung lũng Silicon, Hoa Kỳ. Tôi muốn truyền đạt những bí quyết tôi đã học được từ công việc thực tế của mình cho nhiều người. 🙂
💡
kỹ sư dữ liệu
Duy trì chất lượng và tính nhất quán của dữ liệu bằng cách tự động hóa và lên lịch các luồng công việc dữ liệu.
💡
nhà phân tích dữ liệu
Xử lý các cập nhật dữ liệu thường xuyên hoặc các nhiệm vụ đào tạo lại mô hình .
💡
nhà khoa học dữ liệu
Quản lý hiệu quả quy trình khoa học dữ liệu của bạn bằng cách tự động hóa việc đào tạo mô hình, đánh giá, dự đoán hàng loạt, v.v.
💡
quản trị viên hệ thống
Tăng tính minh bạch và độ tin cậy của việc thực hiện nhiệm vụ.
💡
Nhóm kỹ thuật và phát triển dữ liệu
Bạn có thể triển khai nhiều tác vụ tự động hóa khác nhau, bao gồm các tác vụ ETL (Trích xuất, Chuyển đổi, Tải) và lệnh gọi API .
💡
quản lý dự án
Bạn có thể điều chỉnh lịch trình dự án của mình một cách hiệu quả bằng cách đặt các yếu tố phụ thuộc, mức độ ưu tiên và thời gian thực hiện dự kiến của nhiệm vụ.
Câu hỏi: Tại sao tôi nên học Apache Airflow?
Apache Airflow là một công cụ quản lý quy trình làm việc dữ liệu được sử dụng để tự động hóa, lên lịch và giám sát các đường ống dữ liệu. Điều này cho phép quản lý quy trình làm việc dữ liệu hiệu quả ở nhiều vai trò khác nhau như kỹ sư dữ liệu, nhà khoa học dữ liệu và quản trị viên hệ thống.
Trong nửa sau của bài giảng, bạn có thể tìm hiểu về tích hợp với công nghệ dữ liệu lớn (Apache Spark), vì vậy nó sẽ giúp ích rất nhiều cho bạn nếu bạn là kỹ sư dữ liệu quản lý nhiều đường ống.
Q. Đây có phải là khóa học mà những người không chuyên cũng có thể tham gia không?
Nếu bạn là người không chuyên nhưng biết kiến thức cơ bản về Python và muốn hợp lý hóa quy trình lập kế hoạch cho dữ liệu hoặc tác vụ, thì điều này sẽ giúp ích rất nhiều.
Nếu bạn chưa quen với Python, hãy tìm hiểu những điều cơ bản về Python thông qua YouTube hoặc xem bài giảng bên dưới trước! Ngay cả khi bạn chỉ xem những điều cơ bản, bạn sẽ không gặp khó khăn gì khi theo dõi toàn bộ bài giảng.
Q. Tôi có cần chuẩn bị gì trước khi tham gia bài giảng không?
Vì tôi viết mã bằng Python nên tôi không giảng về Python cơ bản. Ngoài ra, vì nó bao gồm các bài tập sử dụng Docker nên sẽ dễ hiểu hơn nếu bạn có kiến thức cơ bản về Docker.
Khóa học này dành cho ai?
Bạn đang làm việc trong lĩnh vực kỹ thuật dữ liệu
데이터 kỹ sư muốn trở thành
Cần biết trước khi bắt đầu?
Python
10,977
Học viên
779
Đánh giá
316
Trả lời
4.8
Xếp hạng
25
Các khóa học
한국에서 끝낼 거야? 영어로 세계 시장을 뚫어라! 🌍🚀
안녕하세요. UC Berkeley에서 💻 컴퓨터 공학(EECS)을 전공하고, 실리콘 밸리에서 15년 이상을 소프트웨어 엔지니어로 일해왔으며, 현재는 실리콘밸리 빅테크 본사에서 빅데이터와 DevOps를 다루는 Staff Software Engineer로 있습니다.
🧭 실리콘 밸리의 혁신 현장에서 직접 배운 기술과 노하우를 온라인 강의를 통해 이제 여러분과 함께 나누고자 합니다.
🚀 기술 혁신의 최전선에서 배우고 성장해 온 저와 함께, 여러분도 글로벌 무대에서 경쟁할 수 있는 역량을 키워보세요!
🫡 똑똑하지는 않지만, 포기하지 않고 꾸준히 하면 뭐든지 이룰수 있다는 점을 꼭 말씀드리고 싶습니다. 항상 좋은 자료로 옆에서 도움을 드리겠습니다
Tất cả
32 bài giảng ∙ (4giờ 8phút)
Tài liệu khóa học:
Tất cả
47 đánh giá
1.402.738 ₫
Hãy khám phá các khóa học khác của giảng viên!
Khám phá các khóa học khác trong cùng lĩnh vực!