실리콘밸리 개발자가 알려주는 임베딩과 Mini GPT
Hong
AI와 임베딩을 사용하면서도 그 안에서 어떤 일이 일어나는지 설명하기 어려웠다면, 이 강의가 답이 될 수 있습니다. 실리콘밸리 현직 AI 개발자의 경험을 바탕으로 임베딩부터 Word2Vec, 자동 미분, 트랜스포머까지 직접 구현하며 AI의 원리를 코드로 이해하도록 돕습니다.
초급
Python, 업무 생산성, 인공지능(AI)
LLM을 활용한 서비스를 만들면서 프롬프트나 모델을 바꾼 뒤, 이전보다 답변 품질이 떨어졌는지 확인하기 어려웠던 경험이 있다면 이 강의가 해결책이 될 수 있습니다. 직접 평가 기준을 만들고, 달라진 답변을 자동으로 찾아내는 방법을 배웁니다.





하이퍼커넥트
임직원들도 이 강의를 듣고 있어요!





하이퍼커넥트
임직원들도 이 강의를 듣고 있어요!
먼저 경험한 수강생들의 후기
5.0
Be Dev
Eval이라는 평가 방식을 마스터 한다라기 보다는 "이런 개념들과 이런 검증 패턴들이 있다"정도로 알려주는 내용이라고 생각합니다. 즉 시야를 넓히는데 큰 도움이 된다고 느끼네요. 실제로도 저도 해당 강의를 수강하면서 꽤 신박한 주제라고 생각이 들었으니깐요.
5.0
seha incheon
코드 수가 많고 파일도 많다보니깐, 그냥 복사하면서 진행하시는 과정에 있어서 따라가기 힘들다는 느낌이 조금 들었습니다. 그래도 내용이 너무나도 유익하고 생전 처음들어보는 주제라서 이런 단점을 감내할 수 있었던거 같아요. 특히나 평가를 하는 모델도 신뢰 할 수 없으니, 이 모델도 평가를 해야 하는데, 다시 또 모델이 평가하니깐 결국 신뢰가 불가능하다라는 관점으로 이해를 하면서 모델 평가의 결론은 사람이 고생해야 한다로 귀결되는 내용이라고 생각합니다. - 실제로 메타에서도 모델에 과제나 학습시키는데 사람을 더 고용했고 실제 인력을 더 많이 사용한걸로 알고 있는데, 그 관점이 여기서도 반영이 된거같아요.
5.0
강평이
감에 의존하던 LLM 품질 관리를 수치와 코드로 정리해 준 명강의 LLM 서비스를 개발하면서 프롬프트나 모델을 바꿀 때마다 '답변 품질이 진짜 좋아진 건지, 아니면 다른 쪽에서 깨졌는지' 명확하게 검증하기 어려워 늘 고민이 많았습니다. 이 강의는 단순 API 호출을 넘어 규칙 기반 채점부터 LLM-as-a-Judge, 편향(Bias) 방지, 그리고 배포 전 회귀 테스트 파이프라인 구축까지 단계별로 체계적으로 다뤄줍니다. 특히 외부 유료 API나 무거운 프레임워크에 의존하지 않고 로컬 환경에서 밑바닥부터 평가 하네스를 직접 구현해 보는 과정 덕분에 원리를 확실하게 이해할 수 있었습니다. LLM 기능을 프로덕션 레벨에서 안정적으로 배포하고 운영하고자 하는 엔지니어분들께 필수 강의로 추천합니다.
LLM 응답을 수집하고 정량·정성 평가하는 도구 구현
프롬프트와 모델 변경 전후의 품질 차이를 회귀 테스트로 검증
평가 데이터셋과 명확한 LLM 평가 기준을 설계하는 방법
LLM Judge와 규칙 기반 평가를 조합해 신뢰도 높은 평가 파이프라인 구축
실패한 응답을 추적해 프롬프트·검색·모델 중 문제 원인 분석
평가 결과를 CI/CD에 연결해 LLM 서비스 품질을 지속적으로 관리
학습 대상은
누구일까요?
LLM 서비스를 운영하며 프롬프트와 모델 변경의 영향을 검증해야 하는 개발자
LLM Agent와 RAG 서비스의 답변 품질을 체계적으로 평가하고 싶은 개발자
평가 데이터셋과 기준이 없어 품질 검증을 시작하기 어려운 AI 서비스 개발자
수동 테스트를 자동화하고 배포 전 회귀 테스트를 도입하려는 개발자
실제 업무에 바로 적용할 수 있는 LLM 평가 하네스를 프로젝트로 완성하고 싶은 개발자
인프런인증
커리어인증
12,181
명
수강생
639
개
수강평
179
개
답변
4.8
점
강의 평점
31
개
강의
집에서 빈둥대다 개발에 흥미를 느껴 개발 공부를 시작하였고 현재는 판교에서 플랫폼 서버 개발을 담당하여 진행하고 있습니다. 제가 공부를 했던 방법과 실무에서 접하실 수 있는 여러가지 문제점들과 해결책을 여러분들에게 제공하고 싶어 지식공유자 활동을 이어나가고 있습니다.
강의는 오로지 저만의 지식을 통해 만들어지지 않습니다. 모든 강의는 함께하시는 분들이 계십니다.
토스 개발자분의 추천으로 합류하신 실리콘 밸리 개발자 Waddy
[지식공유자 경력]
[前] 샌드박스IP 관련 블록체인 개발자
[前] 메타버스 백엔드 개발자
[現] 판교에서 고여가는 서버 개발자
[인터뷰 이력]
[기타 문의]
[공식 사이트 및 SNS]
Platform : https://hong-platform.koreafirstrun.dev/
Threads : https://www.threads.com/@hong.story.dev
전체
23개 ∙ (5시간 21분)
해당 강의에서 제공:
전체
13개
4.9
13개의 수강평
수강평 13
∙
평균 평점 4.3
5
감에 의존하던 LLM 품질 관리를 수치와 코드로 정리해 준 명강의 LLM 서비스를 개발하면서 프롬프트나 모델을 바꿀 때마다 '답변 품질이 진짜 좋아진 건지, 아니면 다른 쪽에서 깨졌는지' 명확하게 검증하기 어려워 늘 고민이 많았습니다. 이 강의는 단순 API 호출을 넘어 규칙 기반 채점부터 LLM-as-a-Judge, 편향(Bias) 방지, 그리고 배포 전 회귀 테스트 파이프라인 구축까지 단계별로 체계적으로 다뤄줍니다. 특히 외부 유료 API나 무거운 프레임워크에 의존하지 않고 로컬 환경에서 밑바닥부터 평가 하네스를 직접 구현해 보는 과정 덕분에 원리를 확실하게 이해할 수 있었습니다. LLM 기능을 프로덕션 레벨에서 안정적으로 배포하고 운영하고자 하는 엔지니어분들께 필수 강의로 추천합니다.
안녕하세요 강평이님 평 남겨주셔서 감사합니다. 편향이나 Judge라는 관점이 생소하실수도 있을텐데 잘 봐주신거 같아서 뿌듯하네요 ㅎㅎ Eval이라는 평가 패턴 자체도 사실 현 시점에서는 많이 생소합니다. 그래서 너무 딥하게는 다루지 않으면서 여러분들에게 이런 주제와 관심사가 있으니 확인해보시면 좋겠다라는 관점으로 접근해봤습니다. - 그러다보니 자연스럽게 강의 시간도 최소화 하였습니다!! 오늘도 좋은 하루 보내세요!!
수강평 28
∙
평균 평점 4.8
5
개인적으로 LLM 결과를 평가하기 위해 루브릭을 만들어 사용하고 있었는데, 이번 강의를 통해 기존에 사용하던 방법을 좀 더 체계적으로 이해할 수 있어서 좋았습니다. 루브릭뿐만 아니라 LLM Judge, 평가 데이터셋, 회귀 테스트 등 LLM 평가의 전체적인 흐름을 한 번에 정리할 수 있었고, 실무에서 사용하던 평가 방식을 어떻게 발전시켜야 할지 방향을 잡는데도 도움이 되었습니다. 이미 LLM을 실무에서 사용하고 있거나 나름대로 평가 기준을 만들어 사용하고 있는 분들도, 기존에 하던 방식을 한번 정리하고 보완한다는 관점에서 들어보면 많은 도움이 될 것 같습니다.
좋은 평 남겨주셔서 감사합니다. 말씀해주신 부분처럼 LLM 평가에 대해서 실무 관점에서 전반적으로 사용하는 패턴들을 옅볼 수 있는것을 목표로 해서 촬영이 되었습니다!! 요즘 날씨가 많이 추워요 ㅠㅠ 건강 조심하시고 좋은 하루 보내세요!
수강평 1
∙
평균 평점 5.0
5
시중에 넘쳐나는 대다수의 LLM 강의가 단순히 프롬프트를 작성하거나 도구 사용에 집중하는 반면, 이 강의는 AI의 비결정론 성질을 제어하고 이를 자동화된 평가 파이프라인으로 구축하는 방법은 어디서도 쉽게 접하기 힘든 차별화된 내용입니다. 임베딩·청킹·벡터 등에 대한 이해가 뒷받침되어야 강의를 더 깊이 소화할 수 있으므로, 관련 개념에 호기심과 궁금증이 많은 학습자라면 추가적인 연계 학습이 요구됩니다. 그럼에도 불구하고, "LLM을 평가"하는 하네스 엔지니어링을 다루는 강의는 이 강의가 유일합니다 :)
맞습니다!! 단순하게 LLM 강의가 요즘에는 "성과가 좋은 프롬프트", "프롬프트를 통한 생산성 증진" 이런식인데 본질적인 주제는 다루지 않느다고 생각했어요. \
수강평 27
∙
평균 평점 5.0
수정됨
5
모델을 직접 개발하거나 연구하는 사람이 아니라 다른 직군에 있는 사람들에게는 가뭄의 단비와 같이 핀포인트로 기술적으로 의미가 있는 지식이나 생각거리를 찔러주는 좋은 강의라고 생각합니다. 요즘은 LLM의 결과물에 대한 비결정성 같은건 이제 널리 알려진 사실이지만, 그 비결정성 같은 결과물의 가치와 정확도에 대한 평가와 관련해서 어떤 식으로 블랙박스가 구성되고 사람이 이를 어떻게 접근해서 설정값을 조정하고 변경된 결과물에 대한 내용을 판단해야 하는지에 대한 구체적인 내용들은 또 알아보기가 힘든데, 그런 부분을 잘 긁어주는 주제는 현시점에서 꽤 의미가 있는 내용이라고 생각합니다.
가뭄의 단비라니.. 너무 좋은 평 남겨주셔서 감사합니다. 말씀해주신 부분에서 블랙박스라는게 너무나도 공감이 가는 부분이에요. AI Agent가 그냥 다 잘해주지않나?? 라는 관점은 이제는 평탄화가 된거같고, 그래서 이게 안전한가?? 라는 주제가 많이 보이는거 같습니다.
지식공유자님의 다른 강의를 만나보세요!
같은 분야의 다른 강의를 만나보세요!