inflearn logo

Bước đầu với Physical AI không cần phần cứng: Tạo AI nhận diện cử chỉ tay bằng webcam

Dành cho những ai đã chạy thử ví dụ nhận diện bàn tay nhưng vẫn thấy mơ hồ về cách dạy AI nhận biết cử động tay của mình để tạo ra một sản phẩm có thể sử dụng, tôi sẽ tận dụng kinh nghiệm quản lý tổng thể quá trình phát triển và đào tạo giảng viên dạy nghề để hướng dẫn bạn từ A đến Z — từ cài đặt, thu thập dữ liệu, huấn luyện cho đến hoàn thiện giao diện web — chỉ với một webcam.

(5.0) 3 đánh giá

42 học viên

Độ khó Nhập môn

Thời gian Không giới hạn

Python
Python
OpenCV
OpenCV
classification
classification
streamlit
streamlit
mediapipe
mediapipe
Python
Python
OpenCV
OpenCV
classification
classification
streamlit
streamlit
mediapipe
mediapipe

Đánh giá từ những học viên đầu tiên

5.0

5.0

김은영

31% đã tham gia

Nhờ được giải thích dễ hiểu, dễ tiếp thu nên tôi đang từng bước học tập!

5.0

Michael OH

61% đã tham gia

Tôi đã quan tâm đến lĩnh vực mới mẻ mang tên Physical AI, nhưng những khái niệm có phần xa lạ và khó hiểu đã trở nên dễ hiểu, rõ ràng hơn rất nhiều nhờ khóa học này. Điều khiến tôi ấn tượng nhất là khóa học không chỉ dừng lại ở phần giải thích lý thuyết mà còn sử dụng hình ảnh phù hợp và các ví dụ thực tế, giúp người học nắm bắt những khái niệm cốt lõi một cách tự nhiên. Tôi rất thích điều đó. Hehe. Đặc biệt, quá trình triển khai AI nhận diện cử chỉ bàn tay bằng webcam giúp tôi cảm nhận rõ rằng Physical AI không chỉ là lý thuyết suông hay công nghệ của tương lai, mà là công nghệ chúng ta có thể trực tiếp ứng dụng và sử dụng trong cuộc sống hằng ngày. Các ví dụ minh họa và tình huống đa dạng được đưa ra trong khóa học cũng rất hữu ích. Tôi có thể nhìn nhận những điều mình tưởng đã biết từ một góc độ mới, đồng thời tự nhiên tiếp thu thêm cả những kiến thức trước đây mình chưa biết. Tôi nghĩ rằng giải thích những công nghệ khó hiểu một cách dễ hiểu chính là năng lực thực sự của người giảng dạy. Xét ở khía cạnh đó, khóa học này khiến tôi hài lòng cả về nội dung phong phú lẫn cách truyền đạt. Tôi muốn tự tin giới thiệu khóa học này đến những ai muốn bắt đầu tìm hiểu về Physical AI. Xin cảm ơn giảng viên đã chuẩn bị một khóa học thật hay!

5.0

김상목

10% đã tham gia

Không chỉ đơn thuần liệt kê lý thuyết, khóa học còn sử dụng những sơ đồ trực quan giúp vận hành lý thuyết, nhờ đó ngay cả các khái niệm phức tạp cũng trở nên dễ tiếp thu và mức độ hiểu bài được nâng cao rõ rệt. Nhờ vậy, tôi có thể nhanh chóng tạo ra những sản phẩm thực sự hoạt động được, cảm giác thành tựu thật sự rất tuyệt vời! Mã nguồn ngắn gọn và chắc chắn, rất dễ làm theo. Nhờ chương trình học cô đọng, tập trung vào những điểm cốt lõi, tôi đã nắm chắc được rất nhiều kiến thức chỉ trong một thời gian ngắn. Bài giảng của giảng viên quả nhiên luôn đáng tin cậy!

Bạn sẽ nhận được điều này sau khi học.

  • Với API MediaPipe Tasks, bạn có thể tìm và vẽ 21 điểm mốc bàn tay trên màn hình từ ảnh và video webcam.

  • Hiểu cách trích xuất các đặc trưng số như độ đóng mở, lượng di chuyển và vị trí từ 21 điểm bàn tay.

  • Bạn có thể gắn nhãn bằng bàn phím, thu thập dữ liệu cử chỉ tay của mình vào CSV, huấn luyện bằng Random Forest và kiểm tra độ chính xác.

  • Với mô hình đã được huấn luyện, có thể nhận diện theo thời gian thực các thao tác tay trước webcam: nhặt, di chuyển và đặt xuống.

  • Có thể tạo logic đánh giá bằng O và X xem các thao tác lấy, di chuyển và đặt có được thực hiện liên tiếp theo đúng thứ tự đã định hay không.

  • Tôi hoàn thiện trên máy tính của mình một giao diện web giám sát động tác bằng AI, hiển thị kết quả đánh giá từ webcam bằng Streamlit.

  • Khi xác định động tác, trước tiên hãy xem xét liệu đó có phải là động tác mà AI có thể phân biệt được hay không; nếu không thể, hãy dựa vào đó để điều chỉnh định nghĩa động tác.

Chỉ cần kiến thức Python cơ bản, bạn có thể tạo AI nhận diện cử chỉ tay chỉ với một chiếc webcam 🧑‍💻

Đã học ngữ pháp Python cơ bản rồi, nhưng có thể thử làm gì với nó?
Dạo này AI vật lý đang nổi lên, chẳng lẽ phải mua robot trước sao?
Đã thử làm theo các ví dụ AI, nhưng bạn chưa từng tự xây dựng một sản phẩm chạy hoàn chỉnh từ đầu đến cuối phải không?

Nếu bạn cũng đang băn khoăn như vậy, hãy thử bật webcam laptop lên trước nhé 🤭

Nắm tay lại thì nhặt lên, giữ nguyên nắm tay rồi di chuyển thì di chuyển, mở tay ra và hạ xuống thì thả ra.
AI nhận biết cử động tay của bạn và đánh giá bằng O hoặc X xem bạn có thực hiện đúng thứ tự nhặt lên, di chuyển, thả ra hay không.
Bạn sẽ trực tiếp chạy sản phẩm 「AI giám sát thao tác」 này trên máy tính của mình khi kết thúc khóa học 🙌

Không cần dùng robot, camera đo chiều sâu hay card đồ họa.
Bạn sẽ xây dựng trọn vẹn phần đầu của Physical AI — đọc và phán đoán chuyển động của con người bằng camera — chỉ với một chiếc webcam.
Công nghệ này có thể được sử dụng ở bất cứ đâu cần đọc chuyển động của con người, chẳng hạn như kiểm tra công việc trong nhà máy, logistics, ngôn ngữ ký hiệu, thể thao và phục hồi chức năng.

Tôi khuyên khóa học này dành cho những ai】【。

Những người nên học khóa học này (1)

🐍 Dành cho những ai đang bối rối không biết nên học gì tiếp sau kiến thức cơ bản về Python

Nếu bạn đã học ngữ pháp nhưng chưa thể áp dụng vào dự án, bạn có thể làm theo từng bước từ cài đặt đến hoàn thiện chỉ với một dòng lệnh.

Những người nên tham gia khóa học này (2)

🤖 Dành cho những ai muốn bắt đầu với AI vật lý mà không cần thiết bị

Trước khi mua robot hoặc cảm biến, bạn có thể bắt đầu xây dựng hệ thống nhận diện chuyển động bằng webcam trên máy tính xách tay.

Những người nên tham gia khóa học này (3)

🧑‍🏫 Giáo viên và giảng viên đang chuẩn bị cho lớp học dự án

Bạn có thể áp dụng nguyên vẹn quy trình giảng dạy, trong đó học sinh tự thu thập dữ liệu và kiểm tra kết quả. Chúng tôi cũng cung cấp mã hoàn chỉnh.

Sau khi hoàn thành khóa học,

  • Bạn có thể tìm 21 điểm mốc bàn tay trong ảnh và video webcam rồi vẽ chúng lên màn hình.

  • Bạn sẽ hiểu nguyên lý chuyển 21 điểm trên bàn tay thành các giá trị số như trạng thái mở/khép, độ dịch chuyển và vị trí.

  • Bạn có thể tự thu thập dữ liệu về cử động tay của mình, dùng dữ liệu đó để huấn luyện AI và kiểm tra độ chính xác.

  • Bạn có thể chạy AI để nhận diện theo thời gian thực các cử động của tay trước webcam thành các thao tác nhặt, di chuyển và đặt xuống.

  • Hoàn thiện màn hình web “AI giám sát thao tác”, đánh giá trình tự thao tác bằng O và X.

  • Bạn sẽ có tiêu chí để trước tiên xem xét liệu đó có phải là động tác mà AI có thể phân biệt được hay không khi quyết định một động tác mới.

Đặc điểm của khóa học này

⭐️ Không cần gõ code, học bằng cách chạy và thay đổi code

Không có phần chép lại hay điền vào chỗ trống. Bạn sẽ chạy mã hoàn chỉnh để xem kết quả trước, hỏi AI về những dòng khiến bạn gặp khó để hiểu, rồi thay đổi các giá trị và tên gọi để biến chúng thành của mình.

✋ AI chỉ nhìn bàn tay thôi

Không sử dụng nhận diện vật thể. Chỉ dựa vào ba tín hiệu được trích xuất từ 21 điểm mốc của bàn tay: độ đóng/mở, mức độ di chuyển và vị trí để phân biệt các động tác. Vì vậy, điều gì làm được và điều gì không làm được đều rất rõ ràng.

Tôi sẽ lọc bỏ các phương pháp cũ cho bạn.

Phần lớn các ví dụ nhận diện bàn tay trên Internet được viết theo cách cũ (mp.solutions). Mã nguồn trong khóa học này hoàn toàn sử dụng cách mới là MediaPipe Tasks API và phiên bản cũng được cố định. Giúp bạn giảm thời gian phải tìm kiếm những đoạn mã cũ.

Kiểm tra khả năng phân biệt

Dù định nghĩa động tác hay đến đâu, nếu AI không thể phân biệt thì cũng vô ích. 「Lắp ráp」 và 「Kiểm tra」 đều cầm linh kiện rồi đứng yên tại chỗ, nên chỉ nhìn vào bàn tay thì giống hệt nhau; dù thu thập thêm dữ liệu cũng không thể phân biệt được. Hãy học cách sửa định nghĩa động tác trong những trường hợp như vậy.

Đổi thành tên gọi tại nơi làm việc của tôi

Giữ nguyên các động tác mà AI học là gắp, di chuyển và đặt xuống; chỉ thay đổi tên hiển thị trên màn hình. Mã hoàn chỉnh hiển thị là kiểm tra, vận chuyển và đóng gói, nhưng nếu đổi sang các thuật ngữ tại nơi làm việc của mình như xếp hàng, lấy hàng, lắp ráp thì kết quả sẽ khác nhau tùy từng người.

11_특징_손은점21개

AI chỉ quan sát bàn tay

Bàn tay được phân loại động tác dựa trên ba tín hiệu được trích xuất từ 21 điểm mốc của bàn tay: đóng/mở, lượng di chuyển và vị trí.

Đổi sang tên gọi tại nơi làm việc của tôi

Giữ nguyên động tác mà AI học, chỉ thay đổi tên hiển thị trên màn hình thành những tên như kiểm tra, vận chuyển, đóng gói.

Bạn sẽ học những nội dung sau

1⃣ Từ bàn tay trở thành 21 điểm, 2⃣ Từ các điểm thành con số, từ con số thành AI

  1. Cài đặt môi trường: Chuẩn bị Python, VS Code, môi trường ảo, các gói và tệp mô hình bàn tay bằng cách xem màn hình cài đặt thực tế.

  2. Nhận diện bàn tay trong ảnh: Quan sát bàn tay trong một bức ảnh được chuyển thành 21 điểm, rồi đọc tọa độ của các điểm đó.

  3. Khung xương bàn tay theo thời gian thực: Thực hiện lặp đi lặp lại công việc tương tự liên tục từ webcam. Đồng thời phân biệt tay trái và tay phải, cũng như chỉ ra những lỗi thường gặp.

  4. Độ nắm và duỗi, mức độ di chuyển, vị trí: Chuyển khoảng cách giữa các ngón tay, lượng di chuyển của tâm bàn tay và vị trí trên màn hình thành các con số.

  5. Định nghĩa động tác của tôi: Xác định các động tác nhặt, di chuyển và đặt xuống, rồi kiểm tra khả năng phân biệt.

  6. Thu thập dữ liệu: Thực hiện động tác trước webcam, gán nhãn bằng các phím 1, 2, 3 để thu thập dữ liệu của tôi.

  7. Huấn luyện AI và nhận diện theo thời gian thực: Huấn luyện bằng Random Forest, kiểm tra độ chính xác, sau đó nhận diện cử chỉ tay trước webcam theo thời gian thực.

3⃣ Kiểm tra trình tự và hoàn thiện, 4⃣ Phụ lục: Kẹp gắp di chuyển theo bàn tay

  1. Kiểm tra thứ tự: Đánh giá bằng O và X xem các thao tác gắp, di chuyển và đặt xuống có diễn ra đúng thứ tự hay không.

  2. Hoàn thiện giám sát chuyển động bằng AI: Tạo giao diện web bằng Streamlit để hiển thị đồng thời hình ảnh webcam và kết quả phán định.

Phụ lục: Hãy xác định các điểm mốc trên khuôn mặt và cơ thể, rồi thử vận hành bộ gắp 2D trong màn hình chuyển động theo bàn tay của bạn, cũng như bộ gắp tự động có thể tự mình nhấc và đặt hộp chỉ với một tín hiệu gắp.

Người tạo ra khóa học này

  • Tôi đã phụ trách phát triển giải pháp, PM và các dự án kinh doanh mới trong thời gian dài tại các công ty CNTT.

  • Tôi đang giảng dạy nhiều khóa học khác nhau tại nhiều cơ sở đào tạo.


  • Tôi đã viết loạt sách «Nhấp chuột nhấp chuột!» trên Wikidocs (thu thập dữ liệu web bằng Excel, tìm hiểu trí tuệ nhân tạo qua Excel, MS Power BI).

  • Tôi đã mở các khóa học «Ứng dụng dịch giọng nói ChatGPT tạo bằng Flutter [Python cho người mới bắt đầu]» và «Bắt đầu thu thập dữ liệu web bằng Excel mà không cần lập trình» trên Inflearn.

  • Tôi đang vận hành kênh datastorydavi trên YouTube và blog trên Tstory.

  • Tôi đang vận hành trang web davi.kr.

Bạn có điều gì thắc mắc không?

Q. Thật sự không cần robot hay camera chuyên dụng sao?

Vâng, chỉ cần một webcam tích hợp trên máy tính xách tay là đủ. Robot sẽ được thay thế bằng bộ gắp 2D trên màn hình trong phần phụ lục. Nội dung không đề cập đến việc điều khiển cánh tay robot thực tế mà tập trung vào phần trước đó: đọc và phán đoán chuyển động.

Q. Không biết máy học thì có theo kịp được không?

Có. Bạn không cần biết về machine learning, deep learning, OpenCV hay MediaPipe. Chúng tôi sẽ giải thích từng phần khi sử dụng. Tuy nhiên, chúng tôi giả định rằng bạn đã biết các cú pháp cơ bản của Python như biến, vòng lặp và hàm.

Q. Ngoài các động tác gắp, di chuyển và đặt xuống, có thể thực hiện những động tác khác không?

Tên hiển thị trên màn hình có thể tùy ý thay đổi. Nếu muốn xác định lại động tác mà AI sẽ học, trước tiên cần xem xét liệu có điểm nào khác nhau trong số việc đóng mở, lượng di chuyển và vị trí hay không. Tiêu chí đó sẽ được trình bày trong khóa học.

Hỏi: Tôi có phải tự viết mã không?

Không. Chúng tôi cung cấp mã hoàn chỉnh cho từng bài thực hành. Bạn chỉ cần chạy để xem kết quả, và nếu gặp dòng nào khó hiểu thì hãy hỏi AI như ChatGPT: «Dòng này có nghĩa là gì?» rồi tiếp tục theo dõi là được.

Lưu ý trước khi học

Môi trường thực hành

  • Hệ điều hành và phiên bản (OS): Windows (toàn bộ màn hình cài đặt và thực thi đều theo Windows)

  • Python: 3.12.1

  • Công cụ sử dụng: VS Code, môi trường ảo (venv). Tất cả đều miễn phí. Các gói được cài đặt cùng lúc bằng requirements.txt, và mediapipe được cố định ở phiên bản 0.10.35.

  • Cấu hình PC: Laptop có webcam (hoặc PC và webcam USB). Không cần card đồ họa (GPU).

  • Không sử dụng Colab hay Jupyter. Vì cần dùng webcam theo thời gian thực nên chúng ta sẽ chạy trên máy tính của mình.

Tài liệu học tập

  • 18 đoạn mã thực hành (.py, bản hoàn chỉnh)

  • 3 tệp mô hình tay, khuôn mặt, cơ thể (.task) và ảnh bàn tay dùng để thực hành

  • Ghi chú bài học theo từng tiết

  • Tổng hợp các liên kết tham khảo (chủ yếu là tài liệu chính thức)

Kiến thức cần có và lưu ý

  • Nếu bạn biết cú pháp Python cơ bản (biến, câu lệnh điều kiện, vòng lặp, hàm) thì có thể bắt đầu.

  • Phần thuyết minh bài giảng được tạo bằng giọng nói tổng hợp AI (ElevenLabs).

  • Các giá trị dữ liệu trong khóa học (chẳng hạn như độ chính xác) là những ví dụ do giảng viên thu thập. Khi tự thực hành, các giá trị có thể sẽ khác.

  • Nếu bạn có góp ý hoặc ý kiến, hãy gửi tin nhắn cho chúng tôi bất cứ lúc nào.

  • Bản quyền của video bài giảng và tài liệu học tập thuộc về người chia sẻ kiến thức. Không được tự ý sao chép và phân phối lại.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Những người biết cú pháp Python cơ bản nhưng chưa từng tự mình xây dựng một sản phẩm AI hoàn chỉnh từ đầu đến cuối.

  • Dành cho những ai sau khi chạy thử các ví dụ MediaPipe muốn chuyển sang bước trực tiếp thu thập và huấn luyện các động tác của mình.

  • Dành cho những ai muốn bắt đầu với AI vật lý chỉ bằng webcam của laptop mà không cần robot hay camera đo độ sâu

  • Những người làm thực tế muốn thử nghiệm bằng AI việc nhận diện chuyển động của con người trong các lĩnh vực như nhà máy, logistics và thể thao.

  • Giáo viên và giảng viên chuẩn bị các tiết học dự án, trong đó học sinh trực tiếp thu thập dữ liệu và kiểm tra kết quả

Cần biết trước khi bắt đầu?

  • Chỉ cần biết các cú pháp cơ bản của Python như biến, câu lệnh điều kiện, vòng lặp và hàm. Đây không phải là khóa học dạy cú pháp từ đầu.

  • Không cần biết về machine learning, deep learning, OpenCV hay MediaPipe. Vì đây là phần thực hành nên chúng tôi sẽ giải thích từng nội dung khi cần.

  • Việc cài đặt Python và VS Code, cũng như thiết lập môi trường ảo, sẽ được hướng dẫn trực quan trên màn hình trong bài giảng. Chúng tôi cung cấp mã hoàn chỉnh để bạn chạy thử, thay đổi các giá trị và học hỏi.

  • Cần một chiếc máy tính xách tay Windows có webcam. Không sử dụng Colab hay Jupyter.

Xin chào
Đây là davi

Xác minh sự nghiệp

255

Học viên

27

Đánh giá

20

Trả lời

4.9

Xếp hạng

3

Các khóa học

Tôi muốn chia sẻ với các bạn những kinh nghiệm của mình về phân tích trí tuệ nhân tạo thực tiễn, phân tích dữ liệu lớn và phát triển ứng dụng.

Dù vẫn còn nhiều thiếu sót, nhưng nếu nhận được sự ủng hộ nhiệt tình từ mọi người, tôi sẽ cố gắng nỗ lực nhiều hơn nữa. Xin cảm ơn.

Thêm

Chương trình giảng dạy

Tất cả

59 bài giảng ∙ (2giờ 10phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Tất cả

3 đánh giá

5.0

3 đánh giá

  • ak33008493님의 프로필 이미지
    ak33008493

    Đánh giá 1

    ∙

    Đánh giá trung bình 5.0

    5

    10% đã tham gia

    Không chỉ đơn thuần liệt kê lý thuyết, khóa học còn sử dụng những sơ đồ trực quan giúp vận hành lý thuyết, nhờ đó ngay cả các khái niệm phức tạp cũng trở nên dễ tiếp thu và mức độ hiểu bài được nâng cao rõ rệt. Nhờ vậy, tôi có thể nhanh chóng tạo ra những sản phẩm thực sự hoạt động được, cảm giác thành tựu thật sự rất tuyệt vời! Mã nguồn ngắn gọn và chắc chắn, rất dễ làm theo. Nhờ chương trình học cô đọng, tập trung vào những điểm cốt lõi, tôi đã nắm chắc được rất nhiều kiến thức chỉ trong một thời gian ngắn. Bài giảng của giảng viên quả nhiên luôn đáng tin cậy!

    • davi
      Giảng viên

      Tôi sẽ cố gắng hơn nữa. Xin cảm ơn.

  • topclassoh님의 프로필 이미지
    topclassoh

    Đánh giá 5

    ∙

    Đánh giá trung bình 5.0

    5

    61% đã tham gia

    Tôi đã quan tâm đến lĩnh vực mới mẻ mang tên Physical AI, nhưng những khái niệm có phần xa lạ và khó hiểu đã trở nên dễ hiểu, rõ ràng hơn rất nhiều nhờ khóa học này. Điều khiến tôi ấn tượng nhất là khóa học không chỉ dừng lại ở phần giải thích lý thuyết mà còn sử dụng hình ảnh phù hợp và các ví dụ thực tế, giúp người học nắm bắt những khái niệm cốt lõi một cách tự nhiên. Tôi rất thích điều đó. Hehe. Đặc biệt, quá trình triển khai AI nhận diện cử chỉ bàn tay bằng webcam giúp tôi cảm nhận rõ rằng Physical AI không chỉ là lý thuyết suông hay công nghệ của tương lai, mà là công nghệ chúng ta có thể trực tiếp ứng dụng và sử dụng trong cuộc sống hằng ngày. Các ví dụ minh họa và tình huống đa dạng được đưa ra trong khóa học cũng rất hữu ích. Tôi có thể nhìn nhận những điều mình tưởng đã biết từ một góc độ mới, đồng thời tự nhiên tiếp thu thêm cả những kiến thức trước đây mình chưa biết. Tôi nghĩ rằng giải thích những công nghệ khó hiểu một cách dễ hiểu chính là năng lực thực sự của người giảng dạy. Xét ở khía cạnh đó, khóa học này khiến tôi hài lòng cả về nội dung phong phú lẫn cách truyền đạt. Tôi muốn tự tin giới thiệu khóa học này đến những ai muốn bắt đầu tìm hiểu về Physical AI. Xin cảm ơn giảng viên đã chuẩn bị một khóa học thật hay!

    • davi
      Giảng viên

      Cảm ơn bạn vì bài đánh giá tuyệt vời. Chúng tôi sẽ nỗ lực hơn nữa.

  • rola701500님의 프로필 이미지
    rola701500

    Đánh giá 1

    ∙

    Đánh giá trung bình 5.0

    5

    31% đã tham gia

    Nhờ được giải thích dễ hiểu, dễ tiếp thu nên tôi đang từng bước học tập!

    • davi
      Giảng viên

      Tôi sẽ ủng hộ bạn hoàn thành khóa học!

Khóa học khác của davi

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

Giảm 25% cho thành viên mới

763.741 ₫

25%

1.018.321 ₫