Understanding LLM Architecture and GPU Utilization Strategies for AI Masters
Understand Transformer-based LLM architectures and GPU utilization strategies, and gain hands-on experience with the actual serving process using vLLM. This course covers the entire practical workflow, from building AI system pipelines to monitoring and multi-GPU utilization, and is designed for intuitive understanding through diagrams and practice without complex formulas.
237 learners
Level Basic
Course period Unlimited
- Unresolved
54강 양자화의 끝판왕, 터보퀀트 (예정) 강의 업로드
안녕하세요. 해당 강의를 잘 수강하며 많은 도움을 받고 있습니다.하지만 현재 마지막 54강 양자화의 끝판왕, 터보퀀트 (예정) 부분으로 인해 진도율 100%을
gpuattention-model인공지능(ai)transformerllmjaejunglee7625
・
2 days ago
0
7
1
- Unresolved
블로그에 학습 내용 올려도 되나요?
선생님 강의 내용 공부한 것을 개인 블로그같은 곳에 요약해서 올려도 되나요? 아무래도 선생님 noetbook 코드의 일부가 포함이 되어야할것 같은데..가능한지 여쭤봅니다
gpuattention-model인공지능(ai)transformerllmmissingha9322
・
3 days ago
0
12
1
- Unresolved
runpod 사용방법이 궁금합니다..
강의듣고 할려고보는데.. pods이라던지 청구구분이 어떻게 사용해야할지 모르겠습니다.<img src="https://cdn.inflearn.com/public/files/posts/c540a7c3-7761
gpuattention-model인공지능(ai)transformerllmlasttokens55853591
・
a month ago
0
60
1
- Resolved
[참고] Cannot connect to host host.docker.internal:8080
<img src="https://cdn.inflearn.com/public/files/posts/4b701dd0-9a1a-4b51-9716-83e8006fa729/3b91079b-5254-4f7d-bff3-2fd25af79217.png" media-type="img"
gpuattention-model인공지능(ai)transformerllmlogt
・
3 months ago
0
102
2
- Unresolved
40강 Multi GPU 필요성 설명이 두번 나오는 것 같아요
모델 배포 방안 쪽 Tensor Parallelism과 Pipeline Parallelism 설명이 7분 30초 기준 한번 더 설명하시는 것 같아요. 판서는 살짝 다르지만 동일한 내용과 설명인 것 같아서 글 남겨봅니다<
gpuattention-model인공지능(ai)transformerllmchongin12
・
3 months ago
0
80
2
- Resolved
There are no longer any instances available with the requested specifications. Please refresh and try again.
<img src="https://cdn.inflearn.com/public/files/posts/c18e7efd-4fd9-4ba0-8b50-5bedd362c021/34da8e13-f9e9-4751-bb
gpuattention-model인공지능(ai)transformerllmlogt
・
3 months ago
0
131
2
- Resolved
질문있는데요.. vLLM은 말씀하신 사양에 적용이되나요?
vLLM은 강의소개 pc사양에 적용이되나요? GPU가 제공되는 모델만 되지않는지?일반 pc에 적용되는지 궁금합니다.</stron
gpuattention-model인공지능(ai)transformerllmlasttokens55853591
・
3 months ago
0
103
2
- Unresolved
강의 영상 오류
섹션3. 9 encoder 모델 자세히 보기영상에서 9:20~9:23 이 부분 중간에 잘못 잘린거 같습니다.
gpuattention-model인공지능(ai)transformerllmkjunekjune0812
・
4 months ago
0
109
1