AI 의 "다 했어요"를 그대로 믿고 있나요? 테스트 28개가 전부 초록인데도 완료 보고가 거짓인 장면에서 출발해, 기준선·회귀 비교·테스트 변조 감지·보고 대조·숨은 테스트를 묶은 QA 게이트를 만들고, 스톱 훅으로 클로드 코드가 게이트를 통과하기 전에는 끝낼 수 없게 합니다.
AI 의 완료 보고를 기준선 대비 회귀·테스트 변조·잔재·보고 숫자로 몇 분 안에 검산한다
거짓 완료 8유형(안 돌림·일부만·건너뛰기·기대값 변경·하드코딩·삭제·부풀리기·잔재)을 알아보고 무엇이 잡는지 안다
클로드 코드에 스톱 훅 QA 게이트를 걸어 통과 전에는 끝낼 수 없게 하고, 상한과 사람 승인 지점을 정한다
레드→그린과 정상·경계·실패 테스트를 프롬프트·클로드 엠디 규칙으로 강제하고 증거를 보고에 남기게 한다
숨은 테스트와 속성 검사로 공개 테스트만 맞춘 변경을 걸러 낸다
같은 과제를 여러 번 돌리는 작은 에이전트 평가로 하네스 전후를 숫자로 비교한다
처음 보는 저장소에 하네스를 심고 CI 에서도 같은 게이트를 돌린다
AI 의 "다 했어요"를 그대로 믿고 있나요? 테스트 28개가 전부 초록인데도 완료 보고가 거짓인 장면에서 출발해, 기준선·회귀 비교·테스트 변조 감지·보고 대조·숨은 테스트를 묶은 QA 게이트를 만들고, 스톱 훅으로 클로드 코드가 게이트를 통과하기 전에는 끝낼 수 없게 합니다.
하네스를 꾸리는 법(클로드 엠디·스킬·서브에이전트)을 넓게 훑는 강의가 아닙니다. 에이전트가 끝냈다고 말한 코드 변경이 정말 끝났는지 판정하는 한 가지 문제에 집중합니다. 실제 클로드 코드 실행 기록과, 현장에서 자주 보이는 거짓 완료 8유형을 재현한 표본으로 게이트가 무엇을 잡고 무엇을 놓치는지 직접 잽니다. LLM 판사 없이 결정적인 검사만 씁니다.
AI 의 완료 보고를 기준선 대비 회귀·테스트 변조·잔재·보고 숫자로 몇 분 안에 검산한다
거짓 완료 8유형(안 돌림·일부만·건너뛰기·기대값 변경·하드코딩·삭제·부풀리기·잔재)을 알아보고 무엇이 잡는지 안다
클로드 코드에 스톱 훅 QA 게이트를 걸어 통과 전에는 끝낼 수 없게 하고, 상한과 사람 승인 지점을 정한다
레드→그린과 정상·경계·실패 테스트를 프롬프트·클로드 엠디 규칙으로 강제하고 증거를 보고에 남기게 한다
숨은 테스트와 속성 검사로 공개 테스트만 맞춘 변경을 걸러 낸다
같은 과제를 여러 번 돌리는 작은 에이전트 평가로 하네스 전후를 숫자로 비교한다
처음 보는 저장소에 하네스를 심고 CI 에서도 같은 게이트를 돌린다
클로드 코드를 업무에 쓰기 시작했는데 "다 했어요"를 믿어도 될지 매번 불안한 개발자
팀원이 AI 로 만든 변경을 리뷰해야 하는 리드·시니어
하네스 강의를 들었지만 검증 단계를 어떻게 숫자로 만들지 막힌 분
섹션 1. 첫 검산까지 — 완성 데모: 테스트는 28개 초록, 게이트는 2/6, 실행 도구 없이 맡기면: "못 돌렸습니다"를 검산하기, 실습 환경: 루프마켓 반품 모듈과 되돌리기, 기준선: 바꾸기 전에 무엇이 초록인지 적는다, 완료 선언은 가설: 명령·출력·종료 코드
섹션 2. 거짓 완료의 얼굴들 — 얼굴 1: 테스트를 안 돌리고 "통과", 얼굴 2: 시킨 테스트만 — 이번엔 무사했다, 얼굴 3: 테스트를 고쳐서 통과시킨다, 얼굴 4: 특정 입력만 맞춘다, 얼굴 5·6: 테스트 삭제와 보고 부풀리기, 거짓 완료 8유형 분류표
섹션 3. TDD 를 AI 에게 시키기 — 레드의 이유를 읽어라: AI 가 쓴 테스트도 틀린다, 그린이 안 될 때 억지로 맞추지 않게, 정상·경계·실패, 세 개 미만은 테스트가 아니다, 버그 수정은 재현 테스트 먼저, 테스트를 바꾸려면 사람 허락, 리팩터링은 초록일 때만
섹션 4. 회귀 0 만들기 — 호출처를 모르면 시작하지 않는다, 공용 함수를 지키며 명세 바꾸기, 회귀 비교 해부: 실패·사라짐·건너뜀, 숨은 테스트: 에이전트가 못 보는 곳에, 속성 검사: 무작위 주문 수천 건, 시그니처를 바꿨나, 안 바꿨나: 호출처로 증명
섹션 5. QA 게이트 만들기 — QA 게이트 구조: 체크리스트를 스크립트로, 1단계 문법 검사: 가장 싼 검사부터, 3단계 변조 감지, 4단계 잔재 검사, 6단계 보고 대조와 그 한계, 게이트 결과를 한 장으로
섹션 6. 게이트를 에이전트 루프에 — 스톱 훅: 통과 전엔 끝낼 수 없다, 막는 횟수 상한과 사람 승인, 검증 규칙 클로드 엠디: 엄격하면 멈춘다, 검증자를 분리한다: 검토 에이전트의 반려, 완료 보고 형식을 강제한다, 그래도 남는 것, 권한으로 막았는데 뚫렸다: 도구 단위의 함정
섹션 7. 에이전트를 평가하기 — 한 번 성공은 운일 수 있다: 다섯 번 돌리기, 평가셋: 과제와 숨은 테스트 한 쌍, 지표: 성공률·회귀율·변조율, 그리고 지표의 잡음, 하네스 전후 비교: 차이가 안 보일 때, 비용과 시간도 같이 본다
섹션 8. 팀에 들이기와 캡스톤 — CI 에서도 같은 게이트, CI 가 못 보는 것, 게이트가 못 잡는 것: 명세의 빈칸, 캡스톤: 처음 보는 저장소에 하네스 심기, 정리: 다 했어요를 증거로 바꾸는 한 장
실습 ZIP 의 loopmarket-returns 저장소(가상 쇼핑몰 주문·반품 계산 모듈, 파이썬 3.9 이상 + pytest)를 받아 실행합니다. 검증 하네스(기준선·회귀 비교·변조 감지·잔재 검사·보고 대조·QA 게이트·스톱 훅·평가 스크립트), 강별 프롬프트, 거짓 완료 재현 패치 8개, 숨은 테스트, 캡스톤용 작은 저장소가 들어 있습니다. Docker·클라우드는 필요 없습니다.
깃 기본(diff·commit)
테스트를 실행해 본 경험
클로드 코드(또는 비슷한 코딩 에이전트)를 한 번이라도 써 본 경험
클로드 코드 설치·기본 사용법
클로드 엠디·스킬·MCP·서브에이전트 기능 설명
LLM 답변 품질 평가(판사 모델·임베딩)
테스트 프레임워크 문법 전체
레거시 코드에 테스트 붙이기
이 강의의 내레이션은 합성 음성(AI)으로 만들었고, 화면의 클로드 코드 실행 결과는 실제로 실행한 원문입니다. 거짓 완료 재현 패치는 교육용으로 사람이 만든 표본이며 화면에서 그렇게 밝힙니다. AI 응답 문장·토큰·시간은 실행할 때마다 달라질 수 있습니다. 모든 데이터는 교육용 가상 데이터이며, 숫자는 실행 환경에 따라 달라질 수 있습니다.
학습 대상은
누구일까요?
클로드 코드를 업무에 쓰기 시작했는데 "다 했어요"를 믿어도 될지 매번 불안한 개발자
팀원이 AI 로 만든 변경을 리뷰해야 하는 리드·시니어
하네스 강의를 들었지만 검증 단계를 어떻게 숫자로 만들지 막힌 분
선수 지식,
필요할까요?
깃 기본(diff·commit)
테스트를 실행해 본 경험
클로드 코드(또는 비슷한 코딩 에이전트)를 한 번이라도 써 본 경험
커리어인증
20년 이상 데이터베이스와 IT 분야에서 경력을 쌓아온 데이터장인입니다. DBA 및 DB Platform 팀 매니저로 데이터베이스 플랫폼을 다루며, MySQL·PostgreSQL·Oracle·MongoDB와 SQL 튜닝, AWS·Terraform·Python을 전문 분야로 삼고 있습니다. 게임·금융·IT 서비스 분야의 경력을 바탕으로 데이터베이스와 클라우드 아키텍처를 설명합니다. 『오라클 실무튜닝 SQL 패턴 학습』과 『Oracle Pro*C 실무프로젝트 활용서』를 출간했으며, AWS Summit 2018·2019와 데이터야 놀자 2020에서 서버리스·데이터베이스 선택·멀티데이터베이스 전략을 발표했습니다. 최근에는 Bedrock LLM을 이용한 슬로우 쿼리 분석·튜닝 권고, DB 스펙 산정 자동화, DB 메타 MCP 서버와 Slack 봇을 통한 조회 흐름을 다루고 있습니다. 개발자를 위한 데이터베이스 자동화와 비개발자를 위한 AI 업무 활용을 각 과정의 대상과 목적에 맞는 실습으로 설명합니다. AI 제안을 그대로 적용하기보다 결과 동일성·실행 계획·관측 조건을 확인하고, 근거가 부족하면 보류하는 판단 기준을 전달합니다. 회사 운영 데이터와 인증값은 강의 자료에 포함하지 않습니다.
전체
44개 ∙ (5시간 9분)
해당 강의에서 제공:
지식공유자님의 다른 강의를 만나보세요!
같은 분야의 다른 강의를 만나보세요!
![[DevOps 정석 1] Monolith to Microservice 전환 with Spring/Python/Node.js와 Strangler Fig 패턴강의 썸네일](https://cdn.inflearn.com/public/courses/329980/cover/7687ff1a-6346-4e04-b2be-ceac51d6a1cc/329980-eng.jpg?w=420)
![[리뉴얼] 처음하는 파이썬 백엔드와 웹기술 입문 (파이썬 중급, flask[플라스크] 로 이해하는 백엔드 및 웹기술 기본) [풀스택 Part1-1]강의 썸네일](https://cdn.inflearn.com/public/course-325804-cover/6afae82f-e06b-4a0b-914d-2bdf7b1f5b60?w=420)