Inflearn brand logo image
Inflearn brand logo image
Inflearn brand logo image
AI Development

/

AI Agent Development

Phân tích dữ liệu LLM - Từ trích xuất dữ liệu web đến hệ thống đề xuất

Khóa học này tập trung vào những lời giải thích dễ hiểu và các dự án thực hành khác nhau dành cho người mới bắt đầu. Chúng tôi thu thập dữ liệu bằng cách sử dụng công cụ thu thập dữ liệu web và LangChain, đồng thời sử dụng LLM để xử lý hệ thống tóm tắt, trích xuất, phân tích cảm tính và đề xuất.

(4.5) 12 đánh giá

135 học viên

  • pdstudio
데이터분석실습
실습 중심
LLM
LangChain
Web Crawling
Web Scraping
Recommendation System

Đánh giá từ những học viên đầu tiên

Dịch cái này sang tiếng Việt

  • Sử dụng web crawling/scraping để thu thập dữ liệu

  • Sử dụng công cụ LangChain và LLM để thu thập, tinh chế và phân tích dữ liệu

  • Phân tích dự đoán sử dụng LLM (phân tích cảm xúc, tóm tắt, đề xuất sản phẩm, v.v.)

Nâng cấp lên LangChain và LLM
Thu thập dữ liệu và phân tích dữ liệu trên web
🚀

Khóa học này được thiết kế để giúp người mới bắt đầu dễ dàng tìm hiểu thu thập dữ liệu trên web, thu thập dữ liệu bằng công cụ LangChain và kỹ thuật phân tích dữ liệu bằng LLM. Tìm hiểu cách thu thập dữ liệu cần thiết từ web và phân tích dữ liệu đó để rút ra những hiểu biết sâu sắc về doanh nghiệp.

Bài giảng bao gồm các kỹ thuật thu thập và phân tích dữ liệu bằng LangChain và LLM, bao gồm cả đào tạo thu thập dữ liệu/cạo web bằng BeautifulSoup và Selenium. Chúng tôi trực tiếp thu thập dữ liệu tin tức theo thời gian thực, dữ liệu nhận xét và đánh giá sản phẩm YouTube cũng như dữ liệu quỹ ETF, đồng thời trực tiếp triển khai các hệ thống tóm tắt, trích xuất, phân tích cảm tính và đề xuất bằng LLM.

Thu thập trong khi di chuyển phân trang với Selenium

Trích xuất và tổng hợp thông tin sản phẩm từ các video review sản phẩm YouTube

Khái niệm cơ bản về thu thập dữ liệu web bằng Python + Ứng dụng LangChain (LLM)

Đặc điểm của bài giảng

1⃣ Học tập theo dự án, định hướng thực hành

Tìm hiểu cách thực hiện thu thập dữ liệu web của các trang web thực. Chọn và thu thập các danh mục tin tức theo thời gian thực từ cổng thông tin và thực hiện tóm tắt văn bản, trích xuất từ ​​khóa và trích xuất thông tin thực thể. Chúng tôi cũng phân tích các video đánh giá sản phẩm trên YouTube và tạo hệ thống đề xuất quỹ ETF của Hoa Kỳ.

Phân tích video đánh giá sản phẩm YouTube

2⃣ Áp dụng kỹ thuật LLM mới nhất bằng LangChain

Trước tiên, chúng tôi tìm hiểu các kỹ thuật thu thập dữ liệu web truyền thống, sau đó đề cập đến các kỹ thuật thu thập dữ liệu bằng công cụ LangChain và kỹ thuật phân tích dữ liệu bằng LLM. Mức độ khó được điều chỉnh từng bước để người mới bắt đầu có thể dễ dàng theo dõi. (Bài giảng Python và bài giảng LangChain dành cho người mới bắt đầu được cung cấp miễn phí.)

LangChain cung cấp các bài giảng miễn phí

3⃣ Cung cấp thông tin cập nhật khi có thay đổi trên trang web

Trong trường hợp ví dụ về thu thập dữ liệu web, nếu cấu hình trang web hoặc mã nguồn thay đổi, trang web có thể không chạy như cũ. Chúng tôi định kỳ kiểm tra các video bài giảng và mã thực hành để cung cấp thông tin cập nhật.

Màn hình thành phần danh mục đầu tư quỹ ETF

Những lưu ý trước khi tham gia khóa học

Môi trường phòng thí nghiệm

  • Hệ điều hành và phiên bản (OS): Bài giảng dựa trên Windows (Người dùng Linux và MacOS cũng có thể thực hành)

  • Các công cụ được sử dụng: Yêu cầu khóa xác thực Miniconda, Jupyter Lab, OpenAI API (có thể áp dụng chi phí riêng)

  • Yêu cầu về PC: PC hoặc laptop có truy cập Internet

tài liệu học tập

  • Cung cấp tài liệu cần thiết cho việc thực hành (văn bản, mã nguồn)

  • Sách giáo khoa tham khảo LangChain được cung cấp trên Wikidocs: https://wikidocs.net/book/14473

Kiến thức và biện pháp phòng ngừa của người chơi

  • Bất kỳ ai có kiến ​​thức Python cơ bản (bài giảng Python miễn phí được cung cấp: link )

  • Hiểu biết cơ bản về LLM và LangChain (có khóa học liên quan miễn phí: link )

  • Nếu bạn có bất kỳ câu hỏi hoặc ý kiến, xin vui lòng hỏi.

Link thông tin bài giảng (1)

  • RAG Master: Từ cơ bản đến kỹ thuật nâng cao (feat. LangChain)

  • Từ việc triển khai RAG đến đánh giá hiệu suất -

    Quá trình phát triển AI thực tế hoàn thành sau 9 giờ

    • Thực hành xây dựng hệ thống RAG dựa trên LangChain

    • Tìm hiểu các kỹ thuật RAG nâng cao

    • Phương pháp đánh giá hiệu suất hệ thống RAG

    • Cú pháp LCEL mới nhất của LangChain và cách sử dụng Runnable


  • Liên kết: https://inf.run/mdYe4

Link thông tin bài giảng (2)

  • Tạo chatbot & RAG Python thông qua các dự án - sử dụng LangChain và Gradio

  • Gồm tổng cộng 4 dự án


    • Chatbot QA đơn giản: Cài đặt môi trường phát triển, cấu trúc LLM Chain, hiểu giao diện Gradio

    • Chatbot RAG dựa trên PDF: hiểu kỹ thuật RAG, hiểu thông số mô hình, triển khai giao diện chatbot

    • Chatbot phân tích dữ liệu: Tải lên tệp CSV và phân tích dữ liệu (Single Agent)

    • Chatbot phân tích đầu tư: Nghiên cứu và phân tích đầu tư liên quan đến tiền điện tử (Đa tác nhân)

  • Liên kết: https://inf.run/PfJaS

Link thông tin bài giảng (3)

  • Hệ thống RAG được triển khai với tác nhân AI (w. LangGraph)

  • Tác nhân AI thông minh Thế hệ tìm kiếm tăng cường (RAG) được triển khai với LangGraph


    • Thiết kế và triển khai cấu trúc tác nhân AI bằng LangGraph

    • Áp dụng các tác nhân AI vào Thế hệ tăng cường truy xuất (RAG)

    • Mở rộng khả năng của các tác nhân AI bằng cách triển khai chức năng Gọi công cụ

    • Nắm vững các kiến ​​trúc RAG tác nhân mới nhất, bao gồm RAG thích ứng, RAG tự phục vụ và RAG khắc phục.

  • Liên kết: https://inf.run/hTwjC

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • 웹 trang muốn thu thập dữ liệu cần thiết

  • LLM là phương pháp phân tích dữ liệu mà bạn muốn học

  • Những người muốn học cách học và áp dụng Python

  • Những người thích các bài giảng theo dự án, định hướng thực hành

Cần biết trước khi bắt đầu?

  • Kiến thức cơ bản về Python

  • Kiến thức cơ bản về các khái niệm LLM (không bắt buộc, khuyến khích)

Xin chào
Đây là

13,473

Học viên

453

Đánh giá

126

Trả lời

4.9

Xếp hạng

7

Các khóa học

안녕하세요. 저는 파이썬을 활용한 데이터 분석 및 인공지능 서비스 개발 실무를 하고 있습니다. 관심 있는 주제를 찾아서 공부하고 그 내용들을 많은 분들과 공유하기 위해 꾸준하게 책을 집필하고 인공지능 강의를 진행해 오고 있습니다.

 

[이력]

현) 핀테크 스타트업 CEO

전) 데이콘 CDO

전) 인덕대학교 컴퓨터소프트웨어학과 겸임교수

Kaggle Competitin Expert, 빅데이터 분석기사

 

[강의]

NCS 등록강사 (인공지능)

SBA 서울경제진흥원 새싹(SeSAC) 캠퍼스 SW 교육 ‘우수 파트너 선정’ (Python을 활용한 AI 모델 개발)

금융보안원, 한국전자정보통신산업진흥회, 한국디스플레이산업협회, 대구디지털산업진흥원 등 강의

서울대, 부산대, 경희대, 한국외대 등 국내 주요 대학 및 국내 기업체 교육 경험

  

[집필]

 

[유튜브] 판다스 스튜디오 : https://youtube.com/@pandas-data-studio?si=XoLVQzJ9mmdFJQHU

Chương trình giảng dạy

Tất cả

29 bài giảng ∙ (3giờ 10phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Tất cả

12 đánh giá

4.5

12 đánh giá

  • hakjuknu님의 프로필 이미지
    hakjuknu

    Đánh giá 153

    Đánh giá trung bình 5.0

    4

    31% đã tham gia

    good!

    • 판다스 스튜디오
      Giảng viên

      정말 감사합니다! 😊

  • 서강식님의 프로필 이미지
    서강식

    Đánh giá 3

    Đánh giá trung bình 5.0

    5

    31% đã tham gia

    신뢰가 갑니다

  • Kwonkyu Park님의 프로필 이미지
    Kwonkyu Park

    Đánh giá 10

    Đánh giá trung bình 4.3

    3

    62% đã tham gia

    • lcb2000님의 프로필 이미지
      lcb2000

      Đánh giá 2

      Đánh giá trung bình 4.5

      5

      66% đã tham gia

      • 네버엔딩스터디님의 프로필 이미지
        네버엔딩스터디

        Đánh giá 13

        Đánh giá trung bình 4.9

        5

        100% đã tham gia

        강의 흐름이 자연스럽고 강사님이 쉽고 간결하게 알려주셔서 끊김 없이 빠르게 완강했네요! 다음에도 좋은강의 부탁드립니다.

      1.402.898 ₫

      Khóa học khác của pdstudio

      Hãy khám phá các khóa học khác của giảng viên!

      Khóa học tương tự

      Khám phá các khóa học khác trong cùng lĩnh vực!