seha incheon님의 생생한 수강평, [추석 특집] 실리콘밸리 개발자가 알려주는 LLM 평가 하네스 엔지니어링

코드 수가 많고 파일도 많다보니깐, 그냥 복사하면서 진행하시는 과정에 있어서 따라가기 힘들다는 느낌이 조금 들었습니다. 그래도 내용이 너무나도 유익하고 생전 처음들어보는 주제라서 이런 단점을 감내할 수 있었던거 같아요. 특히나 평가를 하는 모델도 신뢰 할 수 없으니, 이 모델도 평가를 해야 하는데, 다시 또 모델이 평가하니깐 결국 신뢰가 불가능하다라는 관점으로 이해를 하면서 모델 평가의 결론은 사람이 고생해야 한다로 귀결되는 내용이라고 생각합니다. - 실제로 메타에서도 모델에 과제나 학습시키는데 사람을 더 고용했고 실제 인력을 더 많이 사용한걸로 알고 있는데, 그 관점이 여기서도 반영이 된거같아요.

1