이승호님의 생생한 수강평, 실리콘밸리 개발자가 알려주는 LLM 평가 하네스 엔지니어링

모델을 직접 개발하거나 연구하는 사람이 아니라 다른 직군에 있는 사람들에게는 가뭄의 단비와 같이 핀포인트로 기술적으로 의미가 있는 지식이나 생각거리를 찔러주는 좋은 강의라고 생각합니다. 요즘은 LLM의 결과물에 대한 비결정성 같은건 이제 널리 알려진 사실이지만, 그 비결정성 같은 결과물의 가치와 정확도에 대한 평가와 관련해서 어떤 식으로 블랙박스가 구성되고 사람이 이를 어떻게 접근해서 설정값을 조정하고 변경된 결과물에 대한 내용을 판단해야 하는지에 대한 구체적인 내용들은 또 알아보기가 힘든데, 그런 부분을 잘 긁어주는 주제는 현시점에서 꽤 의미가 있는 내용이라고 생각합니다.

1