[질문] Llama2 Autotrain 작동 시
ERROR train has failed due to an exception:
TypeError: LlamaForCausalLM.__init__() got an unexpected keyword argument 'use_flash_attention_2'안녕하세요, Autotrain library를 활용하여 fine-tuning 중 아래와 같은 에러가 발생하였는데요. 혹시 어떻게 해결할 수 있을지 궁금합니다. 제 환경에 필요한 정보가 필요하시다면 언제든지 말씀드리겠습니다.
감사드립니다.
답변 1
1
안녕하세요~. 반갑습니다.
autotrain-advanced 라이브러리 버전이 강의에서 사용하는 버전과 일치하는지 체크해보시면 좋을 것 같습니다.
아래 명령어를 이용해서 강의에서 사용하는 autotrain-advanced 라이브러리 버전을 확인할 수 있습니다. (아래 명령어로 확인해보시면 현재는 0.6.35 버전을 사용하고 있습니다.)
!pip show autotrain-advanced좋은 하루되세요.
감사합니다.
0
감사합니다!
덕분에 최근 한국어 기반 LLM Fine-Tuning을 학습하고 있어서 기쁘네요! 알찬강의 감사드립니다.
이 문제는 처음부터 환경을 구성하고나니 해결이 되었네요!
LLM 기반 문서 유사도 산출 가능성 관련 문의드립니다
0
118
1
『6. LLM 용어 정리 - 인컨텍스트 러닝(In-context learning)』에 대한 문의
0
393
2
trainer.train() 실행했는데 API key를 입력하라고 합니다. ㅠ
0
137
2
open api 이용 방법
0
183
2
Llama vision 이미지 해상도
0
210
1
API 특정 짓는 법
0
139
2
소량의 fineTuning 이 미치는 영향
0
238
2
파인튜닝모델에게 일반적인 질문 할 경우에 대한 궁금증
0
220
2
모델에 대한 성능평가 방법
0
242
1
데이터셋을 파인튜닝 하는 것과 반대로 필요없는 데이터를 제거하는 방법도 있나요?
0
300
2
Lora 기법 질문
0
167
1
소스코드 다운받을 장소를 알려 주셔요.
0
146
1
섹션 20~23 강의자료가 없습니다.
0
136
1
학습시 API Key를 입력하라고 합니다.
0
950
2
OpenAI Assistants tools 중 retrieval 기능
0
137
0
OpenAI Assistants API 기초 예제 중 client.beta.threads.message.list 함수
0
130
1
Fine Tuning 후 inference 하는 예시(코드) 질문
0
242
1
PEFT_P-Tuning semantic similarity 예제 실행 오류
0
298
4
강사님 Step-back 학습자료가 없습니다.
0
159
2
학습 중지 후 재학습 방법(autotrain 최신 버전)
0
277
1
Fine-tuning 데이터셋 질문
0
292
1
Llama3 response 시간
0
493
2
fine-tuning 완료된 모델 관련 질문
0
224
2
llama 3 파인튜닝 관련 문의 사항
0
640
1