inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

모두를 위한 대규모 언어 모델 LLM(Large Language Model) Part 1 - Llama 2 Fine-Tuning 해보기

LLM 용어 정리 - 인컨텍스트 러닝(In-context learning)

korquad 데이터셋 편집 방법 문의

430

bj

작성한 질문수 4

0

안녕하세요. 강사님.

강의 잘 듣고 있습니다.

 

제가 가지고 있는 csv 포맷 데이터의 일부를 korquad에 넣고 파인튜닝을 해보려는데, 어떻게 편집할 수 있을지 방법을 찾지못해 문의 드립니다.

 

관련 영상이나 강의를 알려주실 수 있을지요.

 

검토 부탁드립니다.

 

 

좋은 강의 만들어주셔서 고맙습니다. :)

딥러닝 pytorch chatgpt llm llama

답변 2

0

AISchool

안녕하세요~. 반갑습니다.

먼저 강의를 잘 듣고 계신다니 기쁘네요^^.

 

csv 파일을 다루기 위해서는 python 코드를 작성해야만하는데요.

 

예전에는 python 프로그래밍을 공부하고 적용하려면 python 프로그래밍을 기초부터 차근차근 공부를 했었어야만 했는데요.

 

요즘은 ChatGPT가 코드를 잘 작성해주기 때문에 프로그래밍에 익숙하지 않은 분들은 "내가 원하는 로직에 대응되는 Python 코드를 ChatGPT에게 한글로 잘 질문해서 ChatGPT가 작성해준 Python 코드를 받아내고, 혹시 ChatGPT가 작성해준 코드에 부족한 부분이 있으면 ChatGPT에게 해당 부분을 보완요청하는 한글 질문을 다시 요청"하는 형태로 진행해서 Python 코드를 ChatGPT로부터 얻어내면 예전에 비해 원하는 로직에 대응되는 Python 코드를 작성하기가 훨씬 쉬워졌습니다.

 

아래 제 강의에서 위에 언급한 내용을 다루고 있으므로 혹시 관심 있으시다면 아래 강의를 수강하면서 ChatGPT를 이용해서 Python 코드를 작성하는 방법을 학습해보시기 바랍니다.

 

  • 모두를 위한 ChatGPT Part 1 - ChatGPT를 이용한 업무자동화와 파이썬 입문 [ https://inf.run/bBnG ]

 

다만 계속해서 프로그래밍을 진행하실 예정이라면 장기적인 관점에서 위 강의와 함께 인프런에 있는 다른 Python 프로그래밍을 기초부터 고급내용까지 자세히 다루는 강의도 함께 수강하시면서 기본기도 같이 쌓아나가시면 좋을 것 같습니다.

 

좋은 하루되세요.

감사합니다.

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다.
bj님, 강의를 열심히 들으시고 계신다니 정말 기쁩니다.

KorQuAD 데이터셋의 경우 JSON 포맷으로 질의응답(QA) 데이터가 구성되어 있습니다. CSV 포맷의 데이터를 KorQuAD 형식에 맞게 편집하려면, 먼저 JSON 구조를 이해하고 있어야 합니다.

편집 방법은 CSV 파일에서 필요한 정보를 추출하고, 이를 KorQuAD JSON 스키마에 맞게 변환하여 새로운 JSON 파일을 만드는 것입니다. 이 과정에서 파이썬 등의 프로그래밍 언어를 이용해 스크립트를 작성하시면 효율적으로 작업하실 수 있습니다.

만약 CSV 파일을 JSON으로 변환하는 방법이 처음이시라면, 파이썬을 이용한 데이터 변환 관련 기본적인 강의나 자료를 찾아보시는 것이 도움이 될 수 있습니다. 아래 링크는 인프런 내에서 파이썬을 활용한 데이터 처리 강의를 찾을 수 있는 페이지입니다:

궁금한 점 있으시면 수강 중인 강의의 ‘수강 후 문의하기’ 기능을 활용하시거나 다른 관련 강의를 찾아 적용해 보시는 것도 좋은 방법입니다.

강의에 관련된 보다 구체적인 질문은 해당 강의의 문의하기 기능을 통해 직접 강사님께 여쭤보시는 것을 추천드립니다.

도움이 되셨길 바라며, 좋은 학습 결과 있으시길 바랍니다!

섹션22 퀴즈 질문

0

30

1

LLM 기반 문서 유사도 산출 가능성 관련 문의드립니다

0

124

1

『6. LLM 용어 정리 - 인컨텍스트 러닝(In-context learning)』에 대한 문의

0

416

2

trainer.train() 실행했는데 API key를 입력하라고 합니다. ㅠ

0

142

2

open api 이용 방법

0

185

2

Llama vision 이미지 해상도

0

215

1

API 특정 짓는 법

0

142

2

소량의 fineTuning 이 미치는 영향

0

241

2

파인튜닝모델에게 일반적인 질문 할 경우에 대한 궁금증

0

223

2

모델에 대한 성능평가 방법

0

243

1

데이터셋을 파인튜닝 하는 것과 반대로 필요없는 데이터를 제거하는 방법도 있나요?

0

303

2

Lora 기법 질문

0

173

1

소스코드 다운받을 장소를 알려 주셔요.

0

150

1

섹션 20~23 강의자료가 없습니다.

0

139

1

학습시 API Key를 입력하라고 합니다.

0

962

2

OpenAI Assistants tools 중 retrieval 기능

0

140

0

OpenAI Assistants API 기초 예제 중 client.beta.threads.message.list 함수

0

135

1

Fine Tuning 후 inference 하는 예시(코드) 질문

0

245

1

PEFT_P-Tuning semantic similarity 예제 실행 오류

0

302

4

강사님 Step-back 학습자료가 없습니다.

0

163

2

학습 중지 후 재학습 방법(autotrain 최신 버전)

0

280

1

Fine-tuning 데이터셋 질문

0

301

1

Llama3 response 시간

0

499

2

fine-tuning 완료된 모델 관련 질문

0

229

2