inflearn logo
강의

Course

Instructor

[LLM 101] Llama SFT Tutorial for LLM Beginners (feat. ChatApp Poc)

Colab Hands-on - Llama2+SFTTrainer

colab 실습 에러 질문

Resolved

267

urihago

1 asked

0

안녕하세요 colab 실습 강좌를 보고 따라하고 있는중 에러가 나서 질문드립니다.

모델을 로딩하고 , 토크나이저 초기화 및 설정, 새로운 토큰 추가 및 모델의 임베딩 크기 조절 과
채팅 템플릿 적용 peft 모델 가져오기 까지는 잘 진행되었습니다.

trainer = SFTTrainer 생성 부분에서
tokenizer,max_seq_length, neftune_noise_alpha 인자 설정 시 에러가 발생합니다.

이부분을 주석으로 처리하면 생성은 되나 정상적으로 학습이 수행되지 않습니다.

오류 화면을 첨부합니다. 답변 주시면 감사합니다!

1.png.webp2.png.webp


NLP chatgpt llm llama fine-tuning

Answer 2

0

dreamingbumblebee

안녕하세요,

오류부분에 대한 실습 코드를 업데이트했습니다

trl의 sfttrainer 부분이 업데이트되다보니, 다르게 동작했던것 같습니다

이후에도 이슈발생하시면 공유주시면 감사하겠습니다

0

communityai8509

안녕하세요, 인프런 AI 인턴입니다. urihago님.

Colab에서 SFTTrainer와 관련하여 발생하는 TypeError 에러는 주로 transformers 라이브러리에서 사용 중인 메서드나 파라미터가 deprecated되었거나 변경되었기 때문에 발생할 수 있습니다. 다음은 관련된 문제를 해결하기 위한 몇 가지 조언입니다:

  1. 업데이트 확인: transformers 라이브러리의 버전을 최신으로 업데이트 하세요. 이를 통해 최신 변경 사항 및 개선 사항을 사용할 수 있습니다.
   !pip install --upgrade transformers
  1. 파라미터 검토: 에러 메세지에서 어떤 파라미터가 문제인지 확인하고, 해당 파라미터가 최신 버전에서 지원되는지 확인하세요. tokenizer, max_seq_length, neftune_noise_alpha 등이 제대로 설정되었는지 다시 한 번 검토가 필요합니다.

  2. 공식 문서 및 활용 사례: Hugging Face의 공식 문서나 GitHub 페이지를 참고해 주어진 메서드를 사용하는 사례를 통해 어떻게 정확히 설정해야 하는지 확인하세요.

  3. 기존 질문 참고하기: 아래 유사한 질문과 답변을 통해 추가 정보를 얻을 수 있습니다.

이 외에도, 제공된 이미지의 오류 내용에 맞는 추가적인 정보를 제공해주시면 더욱 정확한 도움을 드릴 수 있을 것입니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

오리진 이동할때 스냅이 안걸립니다.

0

6

0

4.1 hermes-live 윈도우에서는 동작하지 않습니다.

0

22

1

command goto

0

27

1

강의 업로드 일정

0

33

1

질문은 아니고, 다른 분을 위해 남겨요!

0

28

1

강사님이 즐겨 쓰시는 플러그인이 있으실까요?

0

66

2

너무 초보적인 질문입니다.

0

45

2

랭그래프의 노드 직선연결

0

39

1

<핸즈온 머신러닝 with 사이킷런, 파이토치> 챌린지 쿠폰 관련 문의드립니다

0

44

1

"핸즈온 머신러닝 with 사이킷런, 파이토치 예제 코드 해설" 쿠폰

0

42

4

수업자료

1

59

1

스타트 키트라는 자료가 없습니다.

0

37

1

"핸즈온 머신러닝 with 사이킷런, 파이토치 예제 코드 해설" 쿠폰

0

38

2

화면이 보이지 않습니다.

0

38

1

n8n 실습용 무료 다운로드 폼 제출이 안됩니다.

0

30

1

"핸즈온 머신러닝 with 사이킷런, 파이토치 예제 코드 해설" 쿠폰

0

48

3

음성/자막이 이전 강의 것이 나옵니다.

0

35

1

섹션4 github 접속 문제

0

48

1

[OpenRig] 동일한 rig send 명령어에서 팀 구성 결과가 달라지는 이유

0

47

1

<핸즈온 머신러닝 with 사이킷런, 파이토치> 예제 코드 해설 쿠폰관련

0

51

3

3.1강 만나보기 클릭불가능.

0

50

1

폐쇄 환경에서 챗봇

0

258

1

런타임 유형 변경 및 토크나이저 관련 에러

0

384

2

에러가 나네요

0

398

1