inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

[LLM 101] LLM 초보를 위한 Llama SFT 강의 (feat. ChatApp Poc)

Colab 실습 - Llama2+SFTTrainer

런타임 유형 변경 및 토크나이저 관련 에러

해결된 질문

387

이현지

작성한 질문수 3

0

image.png

안녕하세요 코랩 실습 과정 중

하드웨어 가속기 선택할 때 V100이 비활성화 되어있을경우 어떤 것을 선택해야 하는지 문의 드립니다.

image.png

아울러 모델튜닝 실습 중 tokenizer.default_chat_template 부분에서 에러가 뜨는데 다음 단계로 넘어갈 수 있도록 하는 방법이 있을까요?

 

image.png

 

이후 패스하고 넘어간다고 해도 PEFT - LoRA부분에서도 에러가 뜹니다.

image.png

 

혹시 위 부분에서 pip install flash-attn===1.0.4 부분을 처리하지 않아서 오류가 난 것일까요?

 

NLP chatgpt llm llama fine-tuning 토크나이저 런타임 런타임유형

답변 2

1

꿈꾸는범블비

[1] A100 > V100 > T4 순으로 사용하시면 됩니다 가장 좋은건 역시 A100이긴합니다

[2] 최신버전 hf에서는 llama2의 chat template이 depreciated되었습니다. llama3를 사용하시거나 default_chat_template을 무시하시고 진행하셔도됩니다 (저희가 어차피 따로 chat_template을 넣어주기 때문에)

[3] flash-attn은 사용하시면 좋지만 colab 환경에서 지원되지 않는 경우가 아직까진 있어서 참고용으로 주석만 처리해두었습니다. peft 에러를 보니 model을 참조하지 못하는것 같은데, peft를 적용할 모델 선언 후 실행하면 동작할것으로 보입니다

0

꿈꾸는범블비

안녕하세요,

오류부분에 대한 실습 코드를 업데이트했습니다

trl의 sfttrainer 부분이 업데이트되다보니, 다르게 동작했던것 같습니다

이후에도 이슈발생하시면 공유주시면 감사하겠습니다

단체카톡방은 어디에..

0

13

0

오리진 이동할때 스냅이 안걸립니다.

0

15

0

4.1 hermes-live 윈도우에서는 동작하지 않습니다.

0

24

1

command goto

0

28

1

강의 업로드 일정

0

37

1

질문은 아니고, 다른 분을 위해 남겨요!

0

31

1

강사님이 즐겨 쓰시는 플러그인이 있으실까요?

0

70

2

너무 초보적인 질문입니다.

0

46

2

랭그래프의 노드 직선연결

0

40

1

<핸즈온 머신러닝 with 사이킷런, 파이토치> 챌린지 쿠폰 관련 문의드립니다

0

46

1

"핸즈온 머신러닝 with 사이킷런, 파이토치 예제 코드 해설" 쿠폰

0

42

4

수업자료

1

61

1

스타트 키트라는 자료가 없습니다.

0

38

1

"핸즈온 머신러닝 with 사이킷런, 파이토치 예제 코드 해설" 쿠폰

0

39

2

화면이 보이지 않습니다.

0

42

1

n8n 실습용 무료 다운로드 폼 제출이 안됩니다.

0

30

1

"핸즈온 머신러닝 with 사이킷런, 파이토치 예제 코드 해설" 쿠폰

0

48

3

음성/자막이 이전 강의 것이 나옵니다.

0

35

1

섹션4 github 접속 문제

0

48

1

[OpenRig] 동일한 rig send 명령어에서 팀 구성 결과가 달라지는 이유

0

47

1

<핸즈온 머신러닝 with 사이킷런, 파이토치> 예제 코드 해설 쿠폰관련

0

52

3

colab 실습 에러 질문

0

269

2

폐쇄 환경에서 챗봇

0

260

1

에러가 나네요

0

399

1