inflearn logo

Khi AI nói “Đã xong” — bộ harness kiểm chứng cho Claude Code: TDD · 0 hồi quy · cổng QA

Bạn có đang tin ngay lời “xong rồi” của AI không? Bắt đầu từ tình huống báo cáo hoàn tất là sai dù cả 28 bài kiểm thử đều xanh, hãy xây dựng một cổng QA kết hợp đường cơ sở, so sánh hồi quy, phát hiện thao túng kiểm thử, đối chiếu báo cáo và kiểm thử ẩn, rồi dùng hook dừng để Claude Code không thể kết thúc trước khi vượt qua cổng.

1 học viên đang tham gia khóa học này

Độ khó Cơ bản

Thời gian Không giới hạn

Python
Python
Git
Git
TDD
TDD
CI/CD
CI/CD
pytest
pytest
Python
Python
Git
Git
TDD
TDD
CI/CD
CI/CD
pytest
pytest

Bạn sẽ nhận được điều này sau khi học.

  • Đối chiếu báo cáo hoàn tất của AI với mốc chuẩn chỉ trong vài phút để kiểm tra hồi quy, việc can thiệp vào kiểm thử, phần còn sót lại và các con số được báo cáo.

  • Nhận biết 8 kiểu hoàn thành giả (không chạy, chỉ làm một phần, bỏ qua, thay đổi giá trị kỳ vọng, hardcode, xóa, thổi phồng, để lại dấu vết) và biết cách phát hiện chúng.

  • Thiết lập cổng QA bằng stop hook trong Claude Code để không thể kết thúc trước khi vượt qua, đồng thời xác định giới hạn trên và các điểm cần con người phê duyệt.

  • Buộc quy trình Red→Green và các bài kiểm thử thông thường, biên và lỗi bằng prompt cùng các quy tắc trong Claude MD, đồng thời yêu cầu ghi lại bằng chứng trong báo cáo.

  • Các bài kiểm thử ẩn và kiểm tra thuộc tính sẽ lọc ra những thay đổi chỉ vượt qua các bài kiểm thử công khai.

  • Định lượng sự khác biệt trước và sau khi dùng harness bằng một bài đánh giá agent nhỏ, trong đó cùng một tác vụ được chạy nhiều lần.

  • Tích hợp bộ harness vào một kho mã lần đầu tiếp cận, rồi chạy cùng cổng kiểm tra trong CI.

Tuyên bố hoàn thành chỉ là giả thuyết, bằng chứng là kết quả kiểm thử — tự xây dựng một bộ công cụ để kiểm chứng câu “xong rồi” của Claude Code chỉ bằng một lệnh, rồi chạy cùng một nhiệm vụ nhiều lần để đánh giá bằng số liệu.

Bạn có đang tin lời AI nói "Xong rồi" mà không kiểm chứng không? Bắt đầu từ tình huống báo cáo hoàn thành là sai dù cả 28 bài kiểm thử đều xanh, nội dung này hướng dẫn tạo một cổng QA kết hợp đường cơ sở, so sánh hồi quy, phát hiện sửa đổi kiểm thử, đối chiếu báo cáo và kiểm thử ẩn, đồng thời dùng stop hook để Claude Code không thể kết thúc trước khi vượt qua cổng này.

Đây không phải là bài giảng tổng quan về cách xây dựng harness (Claude MD, kỹ năng, tác nhân phụ). Bài giảng tập trung vào một vấn đề duy nhất: xác định xem những thay đổi mã mà tác nhân tuyên bố đã hoàn thành có thực sự hoàn tất hay không. Thông qua nhật ký chạy Claude Code thực tế và các mẫu tái hiện 8 kiểu báo cáo hoàn thành sai thường gặp tại hiện trường, bạn sẽ trực tiếp đo lường những gì cổng kiểm tra phát hiện được và bỏ sót. Chỉ sử dụng các phép kiểm tra mang tính xác định, không dùng LLM làm giám khảo.

Sau khi hoàn thành khóa học này, bạn sẽ

  • Trong vài phút, kiểm chứng báo cáo hoàn thành của AI so với đường cơ sở về hồi quy, việc can thiệp vào kiểm thử, phần còn sót lại và các con số được báo cáo.

  • Nhận diện 8 kiểu báo hoàn tất giả (không chạy, chỉ chạy một phần, bỏ qua, thay đổi giá trị kỳ vọng, hardcode, xóa, thổi phồng và để sót) và biết cách phát hiện từng kiểu.

  • Thiết lập cổng QA bằng stop hook trong Claude Code để không thể kết thúc trước khi vượt qua, đồng thời xác định giới hạn và các điểm cần người phê duyệt.

  • Dùng prompt và quy tắc Claude MD để bắt buộc thực hiện quy trình đỏ → xanh cùng các bài kiểm thử thông thường, biên và lỗi; đồng thời yêu cầu ghi lại bằng chứng trong báo cáo.

  • Dùng các bài kiểm tra ẩn và kiểm tra thuộc tính để lọc ra những thay đổi chỉ vượt qua các bài kiểm tra công khai.

  • So sánh bằng số liệu trước và sau khi áp dụng harness thông qua một bài đánh giá agent nhỏ, chạy cùng một nhiệm vụ nhiều lần.

  • Tích hợp harness vào một kho mã mới tiếp cận và chạy cùng một cổng kiểm tra trong CI.

Phù hợp với những người sau đây

  • Lập trình viên mới bắt đầu dùng Claude Code trong công việc nhưng lần nào cũng lo không biết có nên tin câu "Xong rồi" hay không.

  • Trưởng nhóm hoặc kỹ sư cấp cao phải đánh giá các thay đổi do AI tạo ra.

  • Những người đã học về harness nhưng vẫn bối rối, chưa biết cách định lượng các bước xác minh.

Chương trình học (8 phần · 44 bài học · khoảng 310 phút)

  • Phần 1. Cho đến lần kiểm chứng đầu tiên — Demo hoàn chỉnh: 28 bài kiểm thử đều xanh, cổng kiểm tra đạt 2/6, giao việc mà không có công cụ thực thi: kiểm chứng câu “Tôi không chạy được”, môi trường thực hành: mô-đun hoàn trả của Loopmarket và thao tác hoàn tác, đường cơ sở: ghi lại những gì đang xanh trước khi thay đổi, tuyên bố hoàn thành chỉ là giả thuyết: lệnh · đầu ra · mã thoát

  • Mục 2. Những biểu hiện của việc hoàn thành giả — Biểu hiện 1: Không chạy kiểm thử nhưng báo “đạt”, biểu hiện 2: Chỉ chạy kiểm thử được yêu cầu — lần này thì may mắn vô sự, biểu hiện 3: Sửa bài kiểm thử để vượt qua, biểu hiện 4: Chỉ xử lý đúng một số đầu vào nhất định, biểu hiện 5·6: Xóa bài kiểm thử và phóng đại báo cáo, bảng phân loại 8 kiểu hoàn thành giả

  • Mục 3. Để AI thực hiện TDD — Đọc lý do khiến test đỏ: test do AI viết cũng có thể sai, đừng cố ép cho khớp khi chưa thể chuyển sang xanh, bình thường · biên · thất bại, chưa đủ ba thì chưa phải là test, trước khi sửa lỗi hãy viết test tái hiện lỗi, muốn thay đổi test phải được con người cho phép, chỉ refactor khi test xanh.

  • Phần 4. Đưa số lỗi hồi quy về 0 — Không bắt đầu nếu chưa biết nơi gọi hàm, thay đổi đặc tả mà vẫn bảo vệ các hàm dùng chung, phân tích so sánh hồi quy: thất bại·biến mất·bị bỏ qua, kiểm thử ẩn: ở nơi tác tử không thể nhìn thấy, kiểm tra thuộc tính: hàng nghìn đơn hàng ngẫu nhiên, đã thay đổi chữ ký hay chưa: chứng minh bằng nơi gọi hàm

  • Phần 5. Xây dựng cổng QA — Cấu trúc cổng QA: chuyển danh sách kiểm tra thành tập lệnh, bước 1 kiểm tra cú pháp: bắt đầu từ những kiểm tra ít tốn kém nhất, bước 3 phát hiện giả mạo, bước 4 kiểm tra phần còn sót lại, bước 6 đối chiếu báo cáo và giới hạn của việc này, tóm tắt kết quả kiểm tra trong một trang.

  • Mục 6. Tích hợp cổng kiểm soát vào vòng lặp của tác tử — hook dừng: không thể kết thúc trước khi vượt qua, giới hạn số lần chặn và yêu cầu con người phê duyệt, quy tắc xác thực trong Claude MD: quá nghiêm ngặt sẽ khiến quy trình dừng lại, tách riêng bộ xác thực: tác tử đánh giá từ chối, buộc tuân thủ định dạng báo cáo hoàn tất, những vấn đề vẫn còn tồn tại, bị chặn bằng quyền hạn nhưng vẫn vượt qua được: cái bẫy ở cấp công cụ

  • Phần 7. Đánh giá tác nhân — Một lần thành công có thể chỉ là may mắn: chạy năm lần, bộ đánh giá: một cặp gồm nhiệm vụ và bài kiểm tra ẩn, chỉ số: tỷ lệ thành công · tỷ lệ hồi quy · tỷ lệ giả mạo, và nhiễu trong các chỉ số, so sánh trước và sau khi dùng harness: khi không thấy khác biệt, đồng thời xem xét cả chi phí và thời gian.

  • Mục 8. Đưa vào nhóm và đồ án cuối khóa — Cùng một cổng kiểm tra trong CI, những điều CI không thể thấy, những lỗi cổng kiểm tra không phát hiện được: khoảng trống trong đặc tả, đồ án cuối khóa: tích hợp harness vào một kho mã chưa từng biết, tổng kết: một trang biến lời “đã hoàn thành” thành bằng chứng

Môi trường thực hành

Tải và chạy kho lưu trữ loopmarket-returns trong tệp ZIP thực hành (mô-đun tính toán đơn hàng và hoàn trả của một cửa hàng trực tuyến giả lập, yêu cầu Python 3.9 trở lên + pytest). Trong đó có bộ công cụ kiểm chứng (đường cơ sở, so sánh hồi quy, phát hiện sửa đổi, kiểm tra tàn dư, đối chiếu báo cáo, cổng QA, hook dừng và tập lệnh đánh giá), prompt cho từng buổi học, 8 bản vá tái hiện tình trạng báo hoàn thành sai, các bài kiểm thử ẩn và một kho lưu trữ nhỏ dành cho đồ án cuối khóa. Không cần Docker hay dịch vụ đám mây.

Kiến thức tiên quyết

  • Kiến thức cơ bản về Git (diff·commit)

  • Kinh nghiệm chạy thử nghiệm

  • Đã từng sử dụng Claude Code (hoặc một tác nhân lập trình tương tự) ít nhất một lần.

Những nội dung không được đề cập trong khóa học này

  • Cài đặt Claude Code và cách sử dụng cơ bản

  • Giải thích các chức năng Claude MD, Skills, MCP và Subagent.

  • Đánh giá chất lượng câu trả lời của LLM (mô hình giám khảo · embedding)

  • Toàn bộ cú pháp của framework kiểm thử

  • Thêm kiểm thử cho mã nguồn cũ

Hướng dẫn

Lời thuyết minh của bài giảng này được tạo bằng giọng nói tổng hợp (AI), còn kết quả chạy Claude Code trên màn hình là nguyên bản từ lần chạy thực tế. Bản vá tái hiện tình trạng báo hoàn tất sai là mẫu do con người tạo ra cho mục đích giáo dục, và điều này được nêu rõ trên màn hình. Câu trả lời, số token và thời gian phản hồi của AI có thể thay đổi mỗi lần chạy. Tất cả dữ liệu đều là dữ liệu giả lập phục vụ mục đích giáo dục, còn các con số có thể thay đổi tùy theo môi trường chạy.

Khuyến nghị cho
những người này

Khóa học này dành cho ai?

  • Một lập trình viên bắt đầu dùng Claude Code cho công việc, nhưng lần nào cũng lo lắng không biết có thể tin câu “Xong rồi” hay không.

  • Trưởng nhóm và kỹ sư cấp cao cần đánh giá các thay đổi do thành viên nhóm tạo bằng AI.

  • Dành cho những ai đã tham gia buổi học về harness nhưng đang bối rối không biết cách lượng hóa các bước kiểm chứng.

Cần biết trước khi bắt đầu?

  • Git cơ bản (diff·commit)

  • Kinh nghiệm thực hiện kiểm thử

  • Đã từng sử dụng Claude Code (hoặc một tác nhân lập trình tương tự) ít nhất một lần.

Xin chào
Đây là dorian05202988

Xác minh sự nghiệp

Tôi là một chuyên gia dữ liệu với hơn 20 năm kinh nghiệm trong lĩnh vực cơ sở dữ liệu và CNTT. Trong vai trò DBA và quản lý nhóm Nền tảng Cơ sở dữ liệu, tôi phụ trách các nền tảng cơ sở dữ liệu, với chuyên môn về MySQL, PostgreSQL, Oracle, MongoDB, tinh chỉnh SQL, AWS, Terraform và Python. Dựa trên kinh nghiệm trong các lĩnh vực trò chơi, tài chính và dịch vụ CNTT, tôi trình bày về cơ sở dữ liệu và kiến trúc đám mây. Tôi đã xuất bản 『Học các mẫu SQL tinh chỉnh thực tế Oracle』 và 『Sổ tay ứng dụng dự án thực tế Oracle Pro*C』, đồng thời thuyết trình về serverless, lựa chọn cơ sở dữ liệu và chiến lược đa cơ sở dữ liệu tại AWS Summit 2018·2019 và sự kiện 데이터야 놀자 2020. Gần đây, tôi tập trung vào phân tích và khuyến nghị tinh chỉnh truy vấn chậm bằng Bedrock LLM, tự động hóa việc tính toán thông số DB, cũng như quy trình tra cứu thông qua máy chủ DB Meta MCP và bot Slack. Tôi giải thích về tự động hóa cơ sở dữ liệu dành cho nhà phát triển và việc ứng dụng AI vào công việc dành cho người không chuyên về phát triển thông qua các bài thực hành phù hợp với đối tượng và mục tiêu của từng khóa học. Thay vì áp dụng nguyên xi các đề xuất của AI, tôi truyền đạt các tiêu chí đánh giá như kiểm tra tính tương đương của kết quả, kế hoạch thực thi và điều kiện quan sát; nếu thiếu căn cứ thì tạm thời chưa áp dụng. Dữ liệu vận hành của công ty và thông tin xác thực không được đưa vào tài liệu giảng dạy.

Thêm

Chương trình giảng dạy

Tất cả

44 bài giảng ∙ (5giờ 9phút)

Tài liệu khóa học:

Tài liệu bài giảng
Ngày đăng: 
Cập nhật lần cuối: 

Đánh giá

Chưa có đủ đánh giá.
Hãy trở thành tác giả của một đánh giá giúp mọi người!

Khóa học khác của dorian05202988

Hãy khám phá các khóa học khác của giảng viên!

Khóa học tương tự

Khám phá các khóa học khác trong cùng lĩnh vực!

Ưu đãi có thời hạn

56.320 ₫

20%

1.448.994 ₫