안녕하세요! 지난번 제 첫 책 출간 소식과 함께 예고해 드렸던 'AI 에이전트 평가(Evaluation)' 심화 강의가 드디어 오픈되었습니다!🎉
지난번 남겨드린 메시지에서 말씀드렸듯, 책을 통해 평가에 관한 '이론적인 토대와 핵심 원칙'을 다졌다면, 이번 강의는 실무 환경에서 이를 어떻게 자동화하고 시스템으로 구축할 것인가에 대한 완벽한 실습 및 적용 가이드입니다.
첨부된 목차에서 보실 수 있듯, 주관적인 테스트를 넘어 객관적인 지표로 에이전트를 관리하기 위한 핵심 내용들을 꽉꽉 채워 담았습니다.
📌 주요 강의 내용
Golden Dataset 구축의 모든 것: RAGAS 라이브러리, LangSmith, 커스텀 에이전트 및 Claude Code Agent Skill을 활용한 효율적인 평가 데이터셋 생성 기법
다각도 평가(Evaluation) 실습: 최종 답변의 정확도를 보는 e2e 평가부터, 문서를 잘 가져왔는지, 도구를 알맞은 순서대로(Trajectory) 활용했는지 검증하는 Component Evaluation까지
고급 평가 지표 및 프레임워크 적용: Anthropic 권장 에이전트 평가 지표, 그리고 AI의 잠재력(
pass@k)과 일관성(pass^k)을 측정하는 방법지속 가능한 평가 시스템 구축 방안
단순히 에이전트를 '구현'하는 것을 넘어, 프로덕션 레벨에서 내 AI가 "항상 올바르게 동작하는가?"를 데이터로 '증명'하고 최적화하고 싶으신 분들께 가장 확실한 길잡이가 될 것입니다. 책으로 단단한 기본기를 다지셨다면, 이제 이어지는 이번 실습 강의를 통해 '평가의 완성'을 직접 경험해 보세요!
출시 기념 얼리버드 30% 할인 중이니, 책으로 다진 탄탄한 이론을 바탕으로 지금 바로 '평가의 완성'을 경험해 보세요!
인녕하세요, 강병진입니다.
안녕하세요, 최근 좋은 기회로 앤드 스튜디오의 '에이스 리포트'에 참여해 저의 커리어 스토리를 공유하게 되었습니다.
새로운 시작을 앞두고 있지만, 이 영상이 빅테크 이직의 노하우를 다루기보다는 제가 그동안 일을 대하며 고민하고 경험했던 생각들을 담담하게 풀어내는 자리가 되었습니다.
돌아보면 저의 커리어는 성공보다는 실패에 더 가까웠던 것 같습니다. 링크드인에는 기록되지 않은 창업과 폐업의 경험들, 합격보다 훨씬 많았던 불합격의 순간들이 있었습니다. 하지만 그 과정에서 얻은 배움과 교훈들이 있었기에 지금의 제가 있다고 생각합니다.
'일잘러'라는 제목은 조금 쑥스럽지만, 끊임없이 도전하고 그 속에서 배우고자 했던 저의 이야기가 비슷한 고민을 하시는 분들께 조금이나마 가닿기를 바랍니다.
시간 내어 시청해주시고, 영상에 대한 생각도 나눠주시면 큰 힘이 될 것 같습니다.
https://youtu.be/UR9PL1Jz-qs?si=nYUszHC3GrU21K-Q
수강해주시는 수강생 여러분들 감사드리고, 강의 수강하시면서 설명이 부족한 부분이나, 이해가 되지 않는 부분들, 그리고 현업에 적용하시면서 마주하시는 어려움들은 질문으로 올려주시면 최대한 빠르게 답변 드리겠습니다.
감사합니다
강병진 드림
LLM 서비스 개발/운영을 고민하고 계신가요? 저희 회사에서 LlamaIndex와 LLM 개발/운영 노하우를 공유하는 밋업을 진행할 예정이라 해당 정보를 전달드립니다~
LLM 서비스를 운영하거나 시작하려는 개발자를 위한 LLM Workshop, 제 2회 GenAI Connect Day가 9월 26일 GS타워에서 열립니다. 이번 행사는 GS그룹의 Open Innovation 커뮤니티 52g에서 LlamaIndex, DeepLearning.AI 의 Pie&AI와 함께 손잡고 개최합니다. LlamaIndex의 AI Engineer Pierre-Loic Doulcet 가 현장에서 발표할 예정이고, Liner의 Hoon Heo 님과 AutoRAG를 연구하시는 Jeffrey Kim 님이 오셔서 LLM 서비스 개발 관련 노하우와 인사이트를 나누어 주실 예정입니다. 다양한 분야의 AI 엔지니어와 함께 많은 인사이트를 얻으시고 애프터 비어파티에서 네트워킹 기회도 얻어가셨으면 좋겠습니다!
[안내] GenAI Connect Day #2 : LlamaIndex x 52g
📅 일시 : 2024. 9. 26.(목) 저녁 6시 30분 ~
🏢 장소 : GS타워 25층 Keeeet Open Hall
👍 대상 : LLM 활용해서 서비스를 개발하고 있는 개발자
🚨 신청 기간 : 2024. 9. 9(월) ~ 2024. 9. 24 (화)
✅ 연사소개 및 신청링크 : https://bit.ly/52g-genai-2
🚀 문의 : (주)GS 강병진 매니저 (jason.kang@gs.co.kr)
공식(?)적으로는 알려지지 않았지만 개발자들을 위한 다양한 상품들을 준비할 예정이니 많은 관심 부탁드립니다!
안녕하세요, 강병진입니다.
요즘 힙한 Large Language Model (LLM)을 활용해서 RAG를 구성하는 강의를 출시했습니다.
요즘 회사에서 주 업무이기도 하고, 제가 작년부터 이걸로 너무 많은 고생을해서.... 다른분들은 조금 덜 고생하셨으면 하는 마음에 강의를 준비하게 되었습니다.
강의는 OpenAI API를 활용하는데, LangChain을 활용하기 때문에, Claude, Cohere, Upstage등등 LangChain에서 활용하는 패키지를 사용하면 쉽게 따라하실 수 있습니다. 강의 내용을 보시면 LCEL에서
llm에 해당하는 부분만ChatAnthropic,ChatCohere,ChatUpstage등을 활용하시면 되고,Ollama를 활용해서 Llama3를 활용하고 싶으신 분들은ChatOllama를 사용하시면 됩니다.혹시
Ollama를 활용한 강의가 필요하시거나, LLM 관련해서 더 알고싶으신 부분이 있으시다면 수강평이나 강의 질문에 남겨주시거나jasonkang14@gmail.com으로 말씀해주시면, 다음 강의를 준비하는데 도움이 될 것 같습니다!안녕하세요, 강병진입니다.
강의를 출시한지 1주일정도 됐는데, 많은 관심 보여주셔서 감사합니다.
2.5 Auto Scaling Group을 활용한 안정적인 서비스 운영섹션에서 어떻게 다양한 알람들을 추가할 수 있는지 설명 드리는데, 실제로 인스턴스가 늘어나고 줄어드는 것을 보시면 좋을 것 같아서Scheduled Action을 활용하는 방법을 추가했습니다.강의에서 설명 드리는 것처럼
특정한 날에 트래픽이 몰릴 것으로 예상될 때자주 사용하는 방법입니다. 예를들면 금요일 23시에 래플을 오픈한다거나, 이벤트가 있을 때, 트래픽이 몰리는 것을 사전에 대비하는 방법입니다. 그리고 어떻게하면 늘어난 인스턴스를 다시 줄일 수 있는지도 해당 섹션에 담았습니다.이미 완강하신 분들도 있으신데, 추가된 섹션도 참고하시면 좋을 것 같아서 안내드립니다.
강의 수강하시다가 궁금하시거나, 이해가 안되시거나, 설명이 부족한 부분은 질문으로 올려주세요! 강의 자료나 영상을 업데이트 하도록 하겠습니다.
감사합니다.
