Thumbnail
인공지능 자연어 처리

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기 대시보드

(4.3)
17개의 수강평 ∙  567명의 수강생
88,000원

월 17,600원

5개월 할부 시
지식공유자: AISchool
총 69개 수업 (13시간 3분)
수강기한: 
무제한
수료증: 발급
난이도: 
입문
-
초급
-
중급이상
지식공유자 답변이 제공되는 강의입니다
폴더에 추가 공유

중급자를 위해 준비한
[자연어 처리] 강의입니다.

LLM(Large Language Model)의 기초 개념부터 고성능 LLM인 Llama 2 모델을 내가 원하는 데이터셋에 Fine-Tuning하는 방법까지 차근차근 학습합니다.

✍️
이런 걸
배워요!
LLM(Large Language Model)의 기초 개념
고성능 LLM인 Llama 2 모델을 내가 원하는 데이터셋에 Fine-Tuning하는 방법
OpenAI API를 이용해서 GPT를 나만의 데이터셋에 Fine-Tuning하는 방법
다양한 Parameter-Efficient Fine-Tuning (PEFT) 기법들

최신 AI 기술 LLM, 개념부터 모델 튜닝까지!

✨ 최신 AI 기술의 꽃, LLM

Llama2와 OpenAI API를 제대로 활용하면, 특정 분야로 좁힌 영역에 한해 현존하는 최강의 LLM인 GPT-4보다도 강력한 LLM을 만들 수 있습니다!

  • ✅ 최신 LLM(Large Language Model) 기초 개념부터 Llama 2 Fine-Tuning까지 단계별로 익힐 수 있습니다.
  • ✅ 나만의 데이터셋에 Llama 2를 Fine-Tuning하는 법을 차근차근 익혀보세요!

어떤 분들을 위한 강의인가요?

최신 LLM 모델의 
개념과 원리를 
탄탄하게 학습하고 
싶은 분 

고성능 오픈소스 
LLM Llama 2
를 
나만의 데이터셋에 
Fine-Tuning
하고 
싶은 분 

PEFT와 같은 
최신 LLM 트렌드를 
학습하고 싶은 분 

OpenAI API를 이용한 
GPT Fine-Tuning 
방법을 학습하고 
싶은 분


선수 강의 ✅

👋 본 강의는 Python, 딥러닝, 자연어처리(NLP)에 대한 선수지식이 필요한 강의입니다. 반드시 아래 강의를 먼저 수강하시거나 그에 준하는 지식을 갖춘 뒤 본 강의를 수강하세요.

Q&A 💬

Q. LLM(Large Language Model)이 무엇인가요?

LLM"Large Language Model"의 약자로, 대규모 데이터 세트에서 훈련된 인공지능 언어 모델을 의미합니다. 이러한 모델은 자연어 처리(NLP, Natural Language Processing) 작업에 널리 사용되며, 텍스트 생성, 분류, 번역, 질문 응답, 감정 분석 등 다양한 작업을 수행할 수 있습니다.

일반적으로 LLM은 수백만 개 이상의 매개변수(parameter)를 가지고 있으며, 이는 모델이 다양한 언어 패턴과 구조를 학습할 수 있게 해줍니다. 그 결과로, LLM은 상당히 정교하고 자연스러운 텍스트를 생성할 수 있습니다.

예를 들어 GPT (Generative Pre-trained Transformer) 시리즈와 같은 모델은 OpenAI에 의해 개발되었고, 이는 대표적인 LLM의 한 예입니다. 이러한 모델은 웹 페이지, 책, 논문, 기사 등의 큰 텍스트 데이터셋에서 훈련되며, 그 후에는 다양한 자연어 처리 작업에 적용될 수 있습니다.

LLM은 현재 많은 상업적 응용 프로그램에서 쓰이고 있으며 챗봇, 검색 엔진, 자동 번역 서비스, 컨텐츠 추천 등 다양한 분야에서 그 가치를 인정받고 있습니다. 하지만 이러한 모델은 여전히 고도의 전문성을 필요로 하는 작업에는 한계가 있을 수 있으며, 잘못된 정보 생성, 편향성, 이해 부족 등의 문제도 있을 수 있습니다.

Q. 선수 지식이 필요한가요?

본 [모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기] 강의는 최신 LLM 모델의 상세한 설명과 사용법을 다루고 있습니다. 따라서 딥러닝과 자연어처리에 대한 기초지식을 가지고 있다는 가정하에 강의가 진행됩니다. 딥러닝과 자연어처리에 대한 기초 지식이 부족하다면 선행 강의인 [예제로 배우는 딥러닝 자연어 처리 입문 NLP with TensorFlow - RNN부터 BERT까지] 강의를 먼저 수강하시길 바랍니다.

📢 수강 전 확인해주세요

  • 녹음 환경상 일부 영상의 음질이 균일하지 않습니다. (수강 전 강의 [미리보기] 수업을 참고해주시길 바랍니다.)

이런 분들께 추천드려요!

🎓
학습 대상은
누구일까요?
대규모 언어 모델 LLM(Large Language Model)의 개념과 활용법을 학습하고 싶은 분
나만의 데이터셋에 최신 LLM을 Fine-Tuning 해보고 싶은 분
딥러닝 연구 관련 직종으로 취업을 원하시는 분
인공지능/딥러닝 관련 연구를 진행하고 싶은 분
인공지능(AI) 대학원을 준비 중이신 분
📚
선수 지식,
필요할까요?
Python 사용 경험
선수강의 [예제로 배우는 딥러닝 자연어 처리 입문 NLP with TensorFlow - RNN부터 BERT까지] 수강경험

안녕하세요
AISchool 입니다.
AISchool의 썸네일
커리큘럼 총 69 개 ˙ 13시간 3분의 수업
이 강의는 영상, 수업 노트, 첨부 파일이 제공됩니다. 미리보기를 통해 콘텐츠를 확인해보세요.
섹션 0. 실습 안내 사항
실습 colab 링크 확인하는 법
섹션 1. 강의 슬라이드 다운로드
강의 슬라이드 다운로드
섹션 2. LLM(Large Language Model) 개요
LLM(Large Language Model)[대규모 언어 모델]이란 미리보기 13:06 기업별 대표 LLM 사용 및 비교해보기 - OpenAI ChatGPT, 구글 Bard, 네이버 CLOVA X, Meta(Facebook) Llama 2 미리보기 17:16
LLM 용어 정리 - 토큰화(Tokenization) 05:11
LLM 용어 정리 - 인컨텍스트 러닝(In-context learning) 07:19
LLM 용어 정리 - 창발 능력(Emergent Abilities) 11:56
LLM 용어 정리 - 온도(Temperature) 08:02
섹션 3. Llama 1 모델 리뷰
Llama 1 모델 논문 리뷰 미리보기 24:44
Byte Pair Encoding (BPE) 알고리즘 개념 소개 04:57
섹션 4. Llama 2 모델 리뷰
Llama 2 모델 논문 리뷰 - Overview 04:19
Llama 2 모델 논문 리뷰 - Introduction 11:39
Llama 2 모델 논문 리뷰 - Pretraining 03:46
Llama 2 모델 논문 리뷰 - Fine-tuning 24:28
Llama 2 모델 논문 리뷰 - Safety 26:03
Llama 2 모델 논문 리뷰 - Discussion & Conclusion 09:58
섹션 5. Alpaca 모델 리뷰
Alpaca 모델 리뷰 - Llama 1을 Fine-Tuning한 경량 오픈소스 LLM 모델 14:42
섹션 6. Parameter-Efficient Fine-Tuning (PEFT)
Parameter-Efficient Fine-Tuning (PEFT) 개요 04:25
LoRA(Low-Rank Adaptation of Large Language Models) 기법 리뷰 20:13
PEFT 실습 1 - RoBERTa Token Classification 모델에 LoRA 적용하기 (BioNLP2004 데이터셋) 14:50
Prefix-Tuning(Prefix-Tuning: Optimizing Continuous Prompts for Generation) 기법 리뷰 16:04
PEFT 실습 2 - T5 Sentiment Classification 모델에 Prefix-Tuning 적용하기 (sentences_allagree 데이터셋) 10:32
P-Tuning(GPT Understands, Too) 기법 리뷰 19:42
PEFT 실습 3 - RoBERTa Semantic Similarity 모델에 P-Tuning 적용하기 (MRPC 데이터셋) 10:51
Prompt Tuning(The Power of Scale for Parameter-Efficient Prompt Tuning) 기법 리뷰 13:52
PEFT 실습 4 - BLOOMZ Casual Language Modeling 모델에 Prompt Tuning 적용하기 (twitter_complaints 데이터셋) 12:53
섹션 7. Llama 2 가지고 놀기 - KorQuad 데이터셋 Fine-Tuning
Llama 2 Fine-Tuning 프로젝트 개요 - KorQuad 데이터셋 미리보기 06:32 Llama 2 Fine-Tuning을 위한 KorQuad 데이터셋 소개 미리보기 06:14
Llama 2 Fine-Tuning을 위한 형태로 KorQuad 데이터셋 정제하기 09:49
Llama 2 Fine-Tuning 예제 1 - Llama 2를 KorQuad 데이터셋에 맞게 Fine-Tuning 하기 10:34
Llama 2 Fine-Tuning 예제 1 - KorQuad 데이터셋에 Fine-Tuning된 Llama 2 예측(Inference) 및 ChatGPT(GPT-4)와 성능 비교 13:30
섹션 8. 인류 최강의 LLM - GPT 모델 리뷰
GPT-1 (2018) 모델 논문 리뷰 - Overview 06:11
GPT-1 (2018) 모델 논문 리뷰 - Introduction 05:53
GPT-1 (2018) 모델 논문 리뷰 - GPT가 해결한 다양한 자연어처리 Task 정리 12:53
GPT-1 (2018) 모델 논문 리뷰 - Framework 09:57
GPT-1 (2018) 모델 논문 리뷰 - Task-specific input transformations 10:24
GPT-1 (2018) 모델 논문 리뷰 - Model specifications, Supervised fine-tuning 10:52
GPT-2 (2019) 모델 논문 리뷰 - Overview 06:55
GPT-2 (2019) 모델 논문 리뷰 - Introduction 04:20
GPT-2 (2019) 모델 논문 리뷰 - Approach 09:00
GPT-2 (2019) 모델 논문 리뷰 - Experiments 10:15
GPT-2 (2019) 모델 논문 리뷰 - Generalization vs Memorization 07:38
GPT-2 (2019) 모델 논문 리뷰 - Discussion & Conclusion 02:50
GPT-3 (2020) 모델 논문 리뷰 - Introduction 10:58
GPT-3 (2020) 모델 논문 리뷰 - Approach 14:19
GPT-3 (2020) 모델 논문 리뷰 - Results 1 15:15
섹션 9. OpenAI API를 통한 GPT Fine-Tuning
GPT-3.5 Turbo Fine-Tuning 실습 - 기초 예제로 OpenAI API를 통한 Fine-Tuning 프로세스를 익혀보자 미리보기 13:22
GPT-3.5 Fine-Tuning을 위한 형태로 KorQuad 데이터셋 정제하기 04:35
GPT-3.5를 KorQuad 데이터셋에 Fine-Tuning & Fine-Tuning된 GPT-3.5 예측(Inference) 07:01
섹션 10. 프롬프트 엔지니어링(Prompt Engineering)
Chain-of-Thought Prompting(Chain-of-Thought Prompting Elicits Reasoning in Large Language Models) 기법 리뷰 17:49
효율적인 프롬프트 작성을 위한 18가지 전략 (1/2) 21:20
효율적인 프롬프트 작성을 위한 18가지 전략 (2/2) 18:55
Zero-shot-CoT(Large Language Models are Zero-Shot Reasoners) 기법 리뷰 18:39
섹션 11. OpenAI API를 이용해서 임베딩(Embedding) 수행해보기
임베딩(Embedding)의 개념과 장점 11:02
OpenAI API에서 제공하는 임베딩 모델들 08:05
OpenAI API를 이용한 임베딩(Emedding)의 7가지 활용사례(Use cases) 살펴보기 (1/4) 13:43
OpenAI API를 이용한 임베딩(Emedding)의 7가지 활용사례(Use cases) 살펴보기 (2/4) 09:39
OpenAI API를 이용한 임베딩(Emedding)의 7가지 활용사례(Use cases) 살펴보기 (3/4) 14:33
OpenAI API를 이용한 임베딩(Emedding)의 7가지 활용사례(Use cases) 살펴보기 (4/4) 04:23
OpenAI API 임베딩 모델의 제한사항 및 잠재위험 04:52
섹션 12. OpenAI 텍스트 생성(Text Generation) API를 이용해서 GPT를 효율적으로 사용하기
OpenAI 텍스트 생성(Text generation) API 소개 16:57
OpenAI 텍스트 생성(Text generation) API 실습 14:40
Function calling 개념 소개 07:19
Function calling 실습 10:57
섹션 13. OpenAI Assistants API를 이용해서 ChatGPT 만들어보기
OpenAI Assistants API 기초 예제 살펴보기 18:52
OpenAI Assistants API로 ChatPDF 만들기 08:14
OpenAI Assistants API에서 지원하는 Tools - Code Interpreter, Knowledge Retrieval, Function calling 11:43
섹션 14. Llama 3
Llama 3 테스트해보기 14:30
Llama 3를 이용해서 논문 요약 하기(Text Summarizaiton) 17:02
강의 게시일 : 2023년 10월 06일 (마지막 업데이트일 : 2024년 04월 26일)
수강평 총 17개
수강생분들이 직접 작성하신 수강평입니다.
4.3
17개의 수강평
5점
4점
3점
2점
1점
VIEW 추천 순 최신 순 높은 평점 순 낮은 평점 순 평점 순 높은 평점 순 낮은 평점 순
윤지수 thumbnail
5
설명은 너무 좋은데, 피피티에 글이 많아서 읽고 설명을 듣는 걸 여러번 반복해야 되요 ;ㅅ;
2024-01-21
서영민 thumbnail
4
내용은 정말 좋은데 강의 준비에 아쉬움이 많이 남네요. 이전에 수강한 강의도 그렇지만 마우스를 이용한 표기의 가독성이 너무 떨어져서 아쉽습니다. 추가적으로 몇몇 강의는 마이크 이슈로 음량이 불안정한 케이스가 많았는데 이런 부분은 녹화 후 점검만 제대로 해도 충분히 수정할 수 있는 부분인데 그대로 영상이 올라온 것을 보면 제대로 준비가 안 되었다는 느낌을 많이 받게 됩니다. 돈내고 듣는 입장에서 강의 내용은 정말 좋은데 외적인 부분을 조금 더 신경써서 녹화해주셨으면 좋겠습니다.
2024-02-17
3040sw thumbnail
4
내용 자체는 괜찮은데 .. 마이크 음질도 안좋고 마우스로 필기하고 설명은 앞에 책 펼쳐놓고 읽듯이 하네요. 장비에 투자좀 하시는게 ㅎ.
2024-03-14
김민석
공감입니다ㅠ 강의 듣는중인데 마이크가 들렸다 안들렸다 하네요. 마이크는 투자하셨으면..
2024-04-05
고추바사삭 thumbnail
5
2024-04-18
어떤사람이쓰는거야 thumbnail
3
강의는 좋지만 자료를 GPT로 만드신 것 같네요.. 자료를 조금만 정제해주셨으면 좋았을텐데 아쉽습니다
2024-02-04