inflearn logo

Bước đầu với Physical AI không cần phần cứng: Tạo AI nhận diện cử chỉ tay bằng webcam

Dành cho những ai đã chạy thử ví dụ nhận diện bàn tay nhưng vẫn thấy mơ hồ về cách dạy AI nhận biết cử động tay của mình để tạo ra một sản phẩm có thể sử dụng, tôi sẽ tận dụng kinh nghiệm quản lý tổng thể quá trình phát triển và đào tạo giảng viên dạy nghề để hướng dẫn bạn từ A đến Z — từ cài đặt, thu thập dữ liệu, huấn luyện cho đến hoàn thiện giao diện web — chỉ với một webcam.

16 học viên đang tham gia khóa học này

Độ khó Nhập môn

Thời gian Không giới hạn

Python
Python
OpenCV
OpenCV
classification
classification
streamlit
streamlit
mediapipe
mediapipe
Python
Python
OpenCV
OpenCV
classification
classification
streamlit
streamlit
mediapipe
mediapipe

Bạn sẽ nhận được điều này sau khi học.

  • Với API MediaPipe Tasks, bạn có thể tìm và vẽ 21 điểm mốc bàn tay trên màn hình từ ảnh và video webcam.

  • Hiểu cách trích xuất các đặc trưng số như độ đóng mở, lượng di chuyển và vị trí từ 21 điểm bàn tay.

  • Bạn có thể gắn nhãn bằng bàn phím, thu thập dữ liệu cử chỉ tay của mình vào CSV, huấn luyện bằng Random Forest và kiểm tra độ chính xác.

  • Với mô hình đã được huấn luyện, có thể nhận diện theo thời gian thực các thao tác tay trước webcam: nhặt, di chuyển và đặt xuống.

  • Có thể tạo logic đánh giá bằng O và X xem các thao tác lấy, di chuyển và đặt có được thực hiện liên tiếp theo đúng thứ tự đã định hay không.

  • Tôi hoàn thiện trên máy tính của mình một giao diện web giám sát động tác bằng AI, hiển thị kết quả đánh giá từ webcam bằng Streamlit.

  • Khi xác định động tác, trước tiên hãy xem xét liệu đó có phải là động tác mà AI có thể phân biệt được hay không; nếu không thể, hãy dựa vào đó để điều chỉnh định nghĩa động tác.

Chỉ cần kiến thức Python cơ bản, bạn có thể tạo AI nhận diện cử chỉ tay chỉ với một chiếc webcam 🧑‍💻

Đã học ngữ pháp Python cơ bản rồi, nhưng có thể thử làm gì với nó?
Dạo này AI vật lý đang nổi lên, chẳng lẽ phải mua robot trước sao?
Đã thử làm theo các ví dụ AI, nhưng bạn chưa từng tự xây dựng một sản phẩm chạy hoàn chỉnh từ đầu đến cuối phải không?

Nếu bạn cũng đang băn khoăn như vậy, hãy thử bật webcam laptop lên trước nhé 🤭

Nắm tay lại thì nhặt lên, giữ nguyên nắm tay rồi di chuyển thì di chuyển, mở tay ra và hạ xuống thì thả ra.
AI nhận biết cử động tay của bạn và đánh giá bằng O hoặc X xem bạn có thực hiện đúng thứ tự nhặt lên, di chuyển, thả ra hay không.
Bạn sẽ trực tiếp chạy sản phẩm 「AI giám sát thao tác」 này trên máy tính của mình khi kết thúc khóa học 🙌

Không cần dùng robot, camera đo chiều sâu hay card đồ họa.
Bạn sẽ xây dựng trọn vẹn phần đầu của Physical AI — đọc và phán đoán chuyển động của con người bằng camera — chỉ với một chiếc webcam.
Công nghệ này có thể được sử dụng ở bất cứ đâu cần đọc chuyển động của con người, chẳng hạn như kiểm tra công việc trong nhà máy, logistics, ngôn ngữ ký hiệu, thể thao và phục hồi chức năng.

Tôi khuyên khóa học này dành cho những ai】【。

Những người nên học khóa học này (1)

🐍 Dành cho những ai đang bối rối không biết nên học gì tiếp sau kiến thức cơ bản về Python

Nếu bạn đã học ngữ pháp nhưng chưa thể áp dụng vào dự án, bạn có thể làm theo từng bước từ cài đặt đến hoàn thiện chỉ với một dòng lệnh.

Những người nên tham gia khóa học này (2)

🤖 Dành cho những ai muốn bắt đầu với AI vật lý mà không cần thiết bị

Trước khi mua robot hoặc cảm biến, bạn có thể bắt đầu xây dựng hệ thống nhận diện chuyển động bằng webcam trên máy tính xách tay.

Những người nên tham gia khóa học này (3)

🧑‍🏫 Giáo viên và giảng viên đang chuẩn bị cho lớp học dự án

Bạn có thể áp dụng nguyên vẹn quy trình giảng dạy, trong đó học sinh tự thu thập dữ liệu và kiểm tra kết quả. Chúng tôi cũng cung cấp mã hoàn chỉnh.

Sau khi hoàn thành khóa học,

  • Bạn có thể tìm 21 điểm mốc bàn tay trong ảnh và video webcam rồi vẽ chúng lên màn hình.

  • Bạn sẽ hiểu nguyên lý chuyển 21 điểm trên bàn tay thành các giá trị số như trạng thái mở/khép, độ dịch chuyển và vị trí.

  • Bạn có thể tự thu thập dữ liệu về cử động tay của mình, dùng dữ liệu đó để huấn luyện AI và kiểm tra độ chính xác.

  • Bạn có thể chạy AI để nhận diện theo thời gian thực các cử động của tay trước webcam thành các thao tác nhặt, di chuyển và đặt xuống.

  • Hoàn thiện màn hình web “AI giám sát thao tác”, đánh giá trình tự thao tác bằng O và X.

  • Bạn sẽ có tiêu chí để trước tiên xem xét liệu đó có phải là động tác mà AI có thể phân biệt được hay không khi quyết định một động tác mới.

Đặc điểm của khóa học này

⭐️ Không cần gõ code, học bằng cách chạy và thay đổi code

Không có phần chép lại hay điền vào chỗ trống. Bạn sẽ chạy mã hoàn chỉnh để xem kết quả trước, hỏi AI về những dòng khiến bạn gặp khó để hiểu, rồi thay đổi các giá trị và tên gọi để biến chúng thành của mình.

✋ AI chỉ nhìn bàn tay thôi

Không sử dụng nhận diện vật thể. Chỉ dựa vào ba tín hiệu được trích xuất từ 21 điểm mốc của bàn tay: độ đóng/mở, mức độ di chuyển và vị trí để phân biệt các động tác. Vì vậy, điều gì làm được và điều gì không làm được đều rất rõ ràng.

Tôi sẽ lọc bỏ các phương pháp cũ cho bạn.

Phần lớn các ví dụ nhận diện bàn tay trên Internet được viết theo cách cũ (mp.solutions). Mã nguồn trong khóa học này hoàn toàn sử dụng cách mới là MediaPipe Tasks API và phiên bản cũng được cố định. Giúp bạn giảm thời gian phải tìm kiếm những đoạn mã cũ.

Kiểm tra khả năng phân biệt

Dù định nghĩa động tác hay đến đâu, nếu AI không thể phân biệt thì cũng vô ích. 「Lắp ráp」 và 「Kiểm tra」 đều cầm linh kiện rồi đứng yên tại chỗ, nên chỉ nhìn vào bàn tay thì giống hệt nhau; dù thu thập thêm dữ liệu cũng không thể phân biệt được. Hãy học cách sửa định nghĩa động tác trong những trường hợp như vậy.

Đổi thành tên gọi tại nơi làm việc của tôi

Giữ nguyên các động tác mà AI học là gắp, di chuyển và đặt xuống; chỉ thay đổi tên hiển thị trên màn hình. Mã hoàn chỉnh hiển thị là kiểm tra, vận chuyển và đóng gói, nhưng nếu đổi sang các thuật ngữ tại nơi làm việc của mình như xếp hàng, lấy hàng, lắp ráp thì kết quả sẽ khác nhau tùy từng người.

11_특징_손은점21개

AI chỉ quan sát bàn tay

Bàn tay được phân loại động tác dựa trên ba tín hiệu được trích xuất từ 21 điểm mốc của bàn tay: đóng/mở, lượng di chuyển và vị trí.

Đổi sang tên gọi tại nơi làm việc của tôi

Giữ nguyên động tác mà AI học, chỉ thay đổi tên hiển thị trên màn hình thành những tên như kiểm tra, vận chuyển, đóng gói.

Bạn sẽ học những nội dung sau

1⃣ Từ bàn tay trở thành 21 điểm, 2⃣ Từ các điểm thành con số, từ con số thành AI

  1. Cài đặt môi trường: Chuẩn bị Python, VS Code, môi trường ảo, các gói và tệp mô hình bàn tay bằng cách xem màn hình cài đặt thực tế.

  2. Nhận diện bàn tay trong ảnh: Quan sát bàn tay trong một bức ảnh được chuyển thành 21 điểm, rồi đọc tọa độ của các điểm đó.

  3. Khung xương bàn tay theo thời gian thực: Thực hiện lặp đi lặp lại công việc tương tự liên tục từ webcam. Đồng thời phân biệt tay trái và tay phải, cũng như chỉ ra những lỗi thường gặp.

  4. Độ nắm và duỗi, mức độ di chuyển, vị trí: Chuyển khoảng cách giữa các ngón tay, lượng di chuyển của tâm bàn tay và vị trí trên màn hình thành các con số.

  5. Định nghĩa động tác của tôi: Xác định các động tác nhặt, di chuyển và đặt xuống, rồi kiểm tra khả năng phân biệt.

  6. Thu thập dữ liệu: Thực hiện động tác trước webcam, gán nhãn bằng các phím 1, 2, 3 để thu thập dữ liệu của tôi.

  7. Huấn luyện AI và nhận diện theo thời gian thực: Huấn luyện bằng Random Forest, kiểm tra độ chính xác, sau đó nhận diện cử chỉ tay trước webcam theo thời gian thực.

3⃣ Kiểm tra trình tự và hoàn thiện, 4⃣ Phụ lục: Kẹp gắp di chuyển theo bàn tay

  1. Kiểm tra thứ tự: Đánh giá bằng O và X xem các thao tác gắp, di chuyển và đặt xuống có diễn ra đúng thứ tự hay không.

  2. Hoàn thiện giám sát chuyển động bằng AI: Tạo giao diện web bằng Streamlit để hiển thị đồng thời hình ảnh webcam và kết quả phán định.

Phụ lục: Hãy xác định các điểm mốc trên khuôn mặt và cơ thể, rồi thử vận hành bộ gắp 2D trong màn hình chuyển động theo bàn tay của bạn, cũng như bộ gắp tự động có thể tự mình nhấc và đặt hộp chỉ với một tín hiệu gắp.

Người tạo ra khóa học này

  • Tôi đã phụ trách phát triển giải pháp, PM và các dự án kinh doanh mới trong thời gian dài tại các công ty CNTT.

  • Tôi đang giảng dạy nhiều khóa học khác nhau tại nhiều cơ sở đào tạo.


  • Tôi đã viết loạt sách «Nhấp chuột nhấp chuột!» trên Wikidocs (thu thập dữ liệu web bằng Excel, tìm hiểu trí tuệ nhân tạo qua Excel, MS Power BI).

  • Tôi đã mở các khóa học «Ứng dụng dịch giọng nói ChatGPT tạo bằng Flutter [Python cho người mới bắt đầu]» và «Bắt đầu thu thập dữ liệu web bằng Excel mà không cần lập trình» trên Inflearn.

  • Tôi đang vận hành kênh datastorydavi trên YouTube và blog trên Tstory.

  • Tôi đang vận hành trang web davi.kr.

Bạn có điều gì thắc mắc không?

Q. Thật sự không cần robot hay camera chuyên dụng sao?

Vâng, chỉ cần một webcam tích hợp trên máy tính xách tay là đủ. Robot sẽ được thay thế bằng bộ gắp 2D trên màn hình trong phần phụ lục. Nội dung không đề cập đến việc điều khiển cánh tay robot thực tế mà tập trung vào phần trước đó: đọc và phán đoán chuyển động.

Q. Không biết máy học thì có theo kịp được không?

Có. Bạn không cần biết về machine learning, deep learning, OpenCV hay MediaPipe. Chúng tôi sẽ giải thích từng phần khi sử dụng. Tuy nhiên, chúng tôi giả định rằng bạn đã biết các cú pháp cơ bản của Python như biến, vòng lặp và hàm.

Q. Ngoài các động tác gắp, di chuyển và đặt xuống, có thể thực hiện những động tác khác không?

Tên hiển thị trên màn hình có thể tùy ý thay đổi. Nếu muốn xác định lại động tác mà AI sẽ học, trước tiên cần xem xét liệu có điểm nào khác nhau trong số việc đóng mở, lượng di chuyển và vị trí hay không. Tiêu chí đó sẽ được trình bày trong khóa học.

Hỏi: Tôi có phải tự viết mã không?

Không. Chúng tôi cung cấp mã hoàn chỉnh cho từng bài thực hành. Bạn chỉ cần chạy để xem kết quả, và nếu gặp dòng nào khó hiểu thì hãy hỏi AI như ChatGPT: «Dòng này có nghĩa là gì?» rồi tiếp tục theo dõi là được.

Lưu ý trước khi học

Môi trường thực hành

  • Hệ điều hành và phiên bản (OS): Windows (toàn bộ màn hình cài đặt và thực thi đều theo Windows)

  • Python: 3.12.1

  • Công cụ sử dụng: VS Code, môi trường ảo (venv). Tất cả đều miễn phí. Các gói được cài đặt cùng lúc bằng requirements.txt, và mediapipe được cố định ở phiên bản 0.10.35.

  • Cấu hình PC: Laptop có webcam (hoặc PC và webcam USB). Không cần card đồ họa (GPU).

  • Không sử dụng Colab hay Jupyter. Vì cần dùng webcam theo thời gian thực nên chúng ta sẽ chạy trên máy tính của mình.

Tài liệu học tập

  • 18 đoạn mã thực hành (.py, bản hoàn chỉnh)

  • 3 tệp mô hình tay, khuôn mặt, cơ thể (.task) và ảnh bàn tay dùng để thực hành

  • Ghi chú bài học theo từng tiết

  • Tổng hợp các liên kết tham khảo (chủ yếu là tài liệu chính thức)

Kiến thức cần có và lưu ý

  • Nếu bạn biết cú pháp Python cơ bản (biến, câu lệnh điều kiện, vòng lặp, hàm) thì có thể bắt đầu.

  • Phần thuyết minh bài giảng được tạo bằng giọng nói tổng hợp AI (ElevenLabs).

  • Các giá trị dữ liệu trong khóa học (chẳng hạn như độ chính xác) là những ví dụ do giảng viên thu thập. Khi tự thực hành, các giá trị có thể sẽ khác.

  • Nếu bạn có góp ý hoặc ý kiến, hãy gửi tin nhắn cho chúng tôi bất cứ lúc nào.

  • Bản quyền của video bài giảng và tài liệu học tập thuộc về người chia sẻ kiến thức. Không được tự ý sao chép và phân phối lại.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Những người biết cú pháp Python cơ bản nhưng chưa từng tự mình xây dựng một sản phẩm AI hoàn chỉnh từ đầu đến cuối.

  • Dành cho những ai sau khi chạy thử các ví dụ MediaPipe muốn chuyển sang bước trực tiếp thu thập và huấn luyện các động tác của mình.

  • Dành cho những ai muốn bắt đầu với AI vật lý chỉ bằng webcam của laptop mà không cần robot hay camera đo độ sâu

  • Những người làm thực tế muốn thử nghiệm bằng AI việc nhận diện chuyển động của con người trong các lĩnh vực như nhà máy, logistics và thể thao.

  • Giáo viên và giảng viên chuẩn bị các tiết học dự án, trong đó học sinh trực tiếp thu thập dữ liệu và kiểm tra kết quả

Cần biết trước khi bắt đầu?

  • Chỉ cần biết các cú pháp cơ bản của Python như biến, câu lệnh điều kiện, vòng lặp và hàm. Đây không phải là khóa học dạy cú pháp từ đầu.

  • Không cần biết về machine learning, deep learning, OpenCV hay MediaPipe. Vì đây là phần thực hành nên chúng tôi sẽ giải thích từng nội dung khi cần.

  • Việc cài đặt Python và VS Code, cũng như thiết lập môi trường ảo, sẽ được hướng dẫn trực quan trên màn hình trong bài giảng. Chúng tôi cung cấp mã hoàn chỉnh để bạn chạy thử, thay đổi các giá trị và học hỏi.

  • Cần một chiếc máy tính xách tay Windows có webcam. Không sử dụng Colab hay Jupyter.

Xin chào
Đây là davi

Xác minh sự nghiệp

228

Học viên

24

Đánh giá

20

Trả lời

4.8

Xếp hạng

3

Các khóa học

Tôi muốn chia sẻ với các bạn những kinh nghiệm của mình về phân tích trí tuệ nhân tạo thực tiễn, phân tích dữ liệu lớn và phát triển ứng dụng.

Dù vẫn còn nhiều thiếu sót, nhưng nếu nhận được sự ủng hộ nhiệt tình từ mọi người, tôi sẽ cố gắng nỗ lực nhiều hơn nữa. Xin cảm ơn.

Thêm

Chương trình giảng dạy

Tất cả

59 bài giảng ∙ (2giờ 10phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Chưa có đủ đánh giá.
Hãy trở thành tác giả của một đánh giá giúp mọi người!

Khóa học khác của davi

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

Ưu đãi có thời hạn

34.650 ₫

30%

1.029.979 ₫