8강 디버깅 하네스는 verification 하네스와 비슷하게 느껴지는데 결정적인 차이가있을까요?
안녕하세요 8강의 디버깅 하네스는 개념적으로 verification하네스의 일부가 아닐까 생각되는데 결정적인 차이가 있을까요?
답변 2
1
안녕하세요 goodluck 님,
훌륭한 질문 해주셨습니다
말씀해주신 것처럼 Debugging Harness는 Verification Harness와 겹치는 부분이 있습니다.
다만, Claude Code 논문에서 말하는 하네스 관점으로 보면, 두 하네스는 목적과 시작점이 조금 다릅니다.
간단히 말하면 이렇게 볼 수 있습니다.
Verification Harness
→ 결과가 맞는지 확인하는 하네스
Debugging Harness
→ 결과가 틀렸을 때 왜 틀렸는지 추적하는 하네스
예를 들어서, Claude가 코드를 수정한 뒤 테스트를 실행한다고 해보겠습니다.
pytest 실행
빌드 확인
타입 체크
린트 실행
결과 비교
이런 것들은 Verification Harness에 가깝습니다.
즉 수정 결과가 요구사항을 만족하는지를 확인하는 단계입니다.
반면 테스트가 실패했을 때부터는 Debugging Harness가 중요해집니다.
어떤 테스트가 실패했는지
또는, 어떤 입력에서 재현되는지
그리고 로그에는 어떤 에러가 나오는지,
환경변수는 맞는지,
로컬과 배포 환경의 차이는 없었는지,
DB, API, 파일 경로, 권한 문제 등의
원인을 추적하는 구조가 Debugging Harness입니다.
Claude Code 논문 관점에서 중요한 점은, 모델에게 그냥 “고쳐줘”라고 하는 것이 아니라 Claude가 문제를 추적할 수 있도록 관찰 가능한 정보를 제공하는 것입니다.
그래서 Debugging Harness에서는 로그, 재현 방법, 환경변수, 실행 명령어, 실패 입력, 에러 메시지 같은 정보가 중요합니다.
정리하면, Verification Harness와 Debugging Harness는 연결되어 있습니다.
하지만 역할은 다릅니다.
Verification Harness
→ 실패 여부를 확인한다.
Debugging Harness
→ 실패 원인을 추적한다.
Recovery Harness
→ 원인에 맞는 범위만 수정한다.
예를 들어, 테스트 실패 상황을 흐름으로 보면 이렇게 됩니다.
1. Verification Harness
- 테스트 실행
- 실패 여부 확인
2. Debugging Harness
- 실패 로그 확인
- 재현 조건 정리
- 환경 차이 확인
- 원인 후보 좁히기
3. Recovery Harness
- 관련 파일만 수정
- 다시 테스트 실행
그래서 Debugging Harness는 Verification Harness의 일부처럼 보일 수 있지만, 더 정확히는 Verification 이후에 실패 원인을 찾기 위해 필요한 별도의 하네스라고 볼 수 있습니다.
즉 Verification Harness가 “맞는지 확인하는 장치”라면, Debugging Harness는 “왜 안 맞는지 Claude가 추적할 수 있게 만드는 것”입니다.
감사합니다
좋은 하루 되세요!
0
안녕하세요 goodluck 님,
훌륭한 질문 해주셨습니다
말씀해주신 것처럼 Debugging Harness는 Verification Harness와 겹치는 부분이 있습니다.
다만, Claude Code 논문에서 말하는 하네스 관점으로 보면, 두 하네스는 목적과 시작점이 조금 다릅니다.
간단히 말하면 이렇게 볼 수 있습니다.
Verification Harness
→ 결과가 맞는지 확인하는 하네스
Debugging Harness
→ 결과가 틀렸을 때 왜 틀렸는지 추적하는 하네스
예를 들어서, Claude가 코드를 수정한 뒤 테스트를 실행한다고 해보겠습니다.
pytest 실행
빌드 확인
타입 체크
린트 실행
결과 비교
이런 것들은 Verification Harness에 가깝습니다.
즉 수정 결과가 요구사항을 만족하는지를 확인하는 단계입니다.
반면 테스트가 실패했을 때부터는 Debugging Harness가 중요해집니다.
어떤 테스트가 실패했는지
또는, 어떤 입력에서 재현되는지
그리고 로그에는 어떤 에러가 나오는지,
환경변수는 맞는지,
로컬과 배포 환경의 차이는 없었는지,
DB, API, 파일 경로, 권한 문제 등의
원인을 추적하는 구조가 Debugging Harness입니다.
Claude Code 논문 관점에서 중요한 점은, 모델에게 그냥 “고쳐줘”라고 하는 것이 아니라 Claude가 문제를 추적할 수 있도록 관찰 가능한 정보를 제공하는 것입니다.
그래서 Debugging Harness에서는 로그, 재현 방법, 환경변수, 실행 명령어, 실패 입력, 에러 메시지 같은 정보가 중요합니다.
정리하면, Verification Harness와 Debugging Harness는 연결되어 있습니다.
하지만 역할은 다릅니다.
Verification Harness
→ 실패 여부를 확인한다.
Debugging Harness
→ 실패 원인을 추적한다.
Recovery Harness
→ 원인에 맞는 범위만 수정한다.
예를 들어, 테스트 실패 상황을 흐름으로 보면 이렇게 됩니다.
1. Verification Harness
- 테스트 실행
- 실패 여부 확인
2. Debugging Harness
- 실패 로그 확인
- 재현 조건 정리
- 환경 차이 확인
- 원인 후보 좁히기
3. Recovery Harness
- 관련 파일만 수정
- 다시 테스트 실행
그래서 Debugging Harness는 Verification Harness의 일부처럼 보일 수 있지만, 더 정확히는 Verification 이후에 실패 원인을 찾기 위해 필요한 별도의 하네스라고 볼 수 있습니다.
즉 Verification Harness가 “맞는지 확인하는 장치”라면, Debugging Harness는 “왜 안 맞는지 Claude가 추적할 수 있게 만드는 것”입니다.
감사합니다
좋은 하루 되세요!
hermes desktop / hermes model
0
13
3
매일 사용시 토큰사용량
1
11
2
claude-squad 실행 시 로그인 및 권한 문제
0
7
1
도커 GUI 툴, 포르테이너 설치
0
10
2
3강 context harness에서 제시하주신 개념들에 대해 소개된 공식문서나 자료가 있을까요?
0
26
1
섹션5 강의자료 다운로드
0
34
2
Claude skill 과 agent, plugin 관련 질문 드려요.
0
48
3
강의 커리큘럼 추가 문의
0
45
1
memory 질문
0
37
1
코드 구현을 파이썬으로 하라고 명시했나요?
0
38
1
섹션5 수업노트와 실습자료 문의
0
62
2
claude.md 질문
0
62
2
섹션1의 자료는 따로 없나요?
0
62
2
37번 강의가 잘못된거 같습니다.
0
52
2
섹션 1 강의자료 없나요
0
68
2
강의 논문 질문
0
47
1
강의자료 오류
0
119
4
code craft와 harness engineering의 차이가 궁금합니다
0
96
2
skill 사용방법
0
92
2
강의 자료 보여주는 프로그램 뭐 쓰시나요?
0
83
1
섹션1 하네스 강의에서 실습 영상없을까요??
0
107
2
Skills와 tool use 에 대한 이해
0
67
1
8강에서 '클로드 논문' 을 참고하셨다고 하셨는데, 어떤 논문을 참고 하신 건지 알 수 있을까요?
0
76
2
커리큘럼 예정일
0
85
1