inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기

학습 중 궁금한 부분 문의합니다

332

Kyung-il In

작성한 질문수 16

0

안녕하세요

라마2에 한국어 데이터셋만 학습해도 한국어 질문 답을 하는 것을 보고 궁금해서요

한국어 데이터 셋만 학습을 해도 라마2에서 한국어를 이해하고 대답하는 건지요

 

그리고 예제에서 질문을 한 후 받는 대답이 너무 짧게 나오는데요 이부분은 데이터셋의 답 부분이 짧아서 그런 가요 gpt는 엄청 길게 답을 하는데 이부분이 궁금하네요

 

 

딥러닝 pytorch chatgpt llm llama

답변 1

1

AISchool

안녕하세요~. 반갑습니다.

 

  1. 한국어 데이터셋만 학습을 해도 라마2에서 한국어를 이해하고 대답한다는 것이 무슨 뜻인지 정확히 이해하지 못했습니다ㅠ. [한국어+영어 데어터셋]이 아니라 [한국어 데이터셋]만 사용해서 학습해도 되냐는 의미로 질문하신것인가요?
    실습에서 볼 수 있듯이 [한국어 데이터셋]만을 이용해서 학습을 진행해도 라마2에서 한국어를 이해하고 대답할 수 있습니다. 다만 모든 한국어 문장을 이해하고 다 처리할수 있는 것은 아니고 Fine-Tuning에 사용한 데이터와 유사한 형태의 한국어 문장만을 이해하고 처리할 수 있게됩니다.

     

     

     

  2. 대답이 짧게 나오는 것은 말씀해주신대로 Fine-Tuning 데이터셋을 모두 단답형으로 구성한뒤 학습을 진행해서 그렇습니다. 긴 대답이 나오는 형태로 만드려면 Fine-Tuning 데이터셋을 긴대답 형태로 구성해준뒤 Fine-Tuning을 진행해야만 합니다.

좋은 하루되세요~.

감사합니다.

LLM 기반 문서 유사도 산출 가능성 관련 문의드립니다

0

118

1

『6. LLM 용어 정리 - 인컨텍스트 러닝(In-context learning)』에 대한 문의

0

393

2

trainer.train() 실행했는데 API key를 입력하라고 합니다. ㅠ

0

137

2

open api 이용 방법

0

183

2

Llama vision 이미지 해상도

0

210

1

API 특정 짓는 법

0

139

2

소량의 fineTuning 이 미치는 영향

0

238

2

파인튜닝모델에게 일반적인 질문 할 경우에 대한 궁금증

0

220

2

모델에 대한 성능평가 방법

0

242

1

데이터셋을 파인튜닝 하는 것과 반대로 필요없는 데이터를 제거하는 방법도 있나요?

0

300

2

Lora 기법 질문

0

167

1

소스코드 다운받을 장소를 알려 주셔요.

0

146

1

섹션 20~23 강의자료가 없습니다.

0

136

1

학습시 API Key를 입력하라고 합니다.

0

950

2

OpenAI Assistants tools 중 retrieval 기능

0

137

0

OpenAI Assistants API 기초 예제 중 client.beta.threads.message.list 함수

0

130

1

Fine Tuning 후 inference 하는 예시(코드) 질문

0

242

1

PEFT_P-Tuning semantic similarity 예제 실행 오류

0

298

4

강사님 Step-back 학습자료가 없습니다.

0

159

2

학습 중지 후 재학습 방법(autotrain 최신 버전)

0

277

1

Fine-tuning 데이터셋 질문

0

292

1

Llama3 response 시간

0

493

2

fine-tuning 완료된 모델 관련 질문

0

224

2

llama 3 파인튜닝 관련 문의 사항

0

640

1