런타임 유형 변경 및 토크나이저 관련 에러
안녕하세요 코랩 실습 과정 중
하드웨어 가속기 선택할 때 V100이 비활성화 되어있을경우 어떤 것을 선택해야 하는지 문의 드립니다.
아울러 모델튜닝 실습 중 tokenizer.default_chat_template 부분에서 에러가 뜨는데 다음 단계로 넘어갈 수 있도록 하는 방법이 있을까요?
이후 패스하고 넘어간다고 해도 PEFT - LoRA부분에서도 에러가 뜹니다.
혹시 위 부분에서 pip install flash-attn===1.0.4 부분을 처리하지 않아서 오류가 난 것일까요?
Câu trả lời 2
1
[1] A100 > V100 > T4 순으로 사용하시면 됩니다 가장 좋은건 역시 A100이긴합니다
[2] 최신버전 hf에서는 llama2의 chat template이 depreciated되었습니다. llama3를 사용하시거나 default_chat_template을 무시하시고 진행하셔도됩니다 (저희가 어차피 따로 chat_template을 넣어주기 때문에)
[3] flash-attn은 사용하시면 좋지만 colab 환경에서 지원되지 않는 경우가 아직까진 있어서 참고용으로 주석만 처리해두었습니다. peft 에러를 보니 model을 참조하지 못하는것 같은데, peft를 적용할 모델 선언 후 실행하면 동작할것으로 보입니다
0
안녕하세요,
오류부분에 대한 실습 코드를 업데이트했습니다
trl의 sfttrainer 부분이 업데이트되다보니, 다르게 동작했던것 같습니다
이후에도 이슈발생하시면 공유주시면 감사하겠습니다
교재 파일이나 실습자료 한번에 다운로드 받는 메뉴가 없나요
0
1
0
마크다운을 텍스트 파일로 변환하기
0
16
1
18강 smithery 를 이용한 mcp 실습(업데이트 요청)
0
18
1
guardrails 부분도 현재버전과 약간 다릅니다.
0
21
1
smithery ai 언제 업데이트 되나요?
0
17
1
자료에 실습 데이터가 없어요.
0
17
1
무료할당량 사용하는데 문제가 생겼습니다.
0
21
1
섹션2-11 내용중 tool_call
0
25
2
max token을 제한하는게 왜 성능을 개선하게 되는걸까요?
0
42
2
20강에서 파인튜닝 때 사용한 데이터가 없어졌습니다. LoRA Trainer 매개변수도 라이브러리 업그레이드로 수정되었습니다.
0
20
1
gradio 를 통한 챗봇 인터페이스 실습이 진행되지 않습니다.
0
46
1
화면이 보이지 않아요
0
32
1
pc에서는 괜찮은데 탭으로 들으니 화면확대시 화면이 까맙니다
0
22
1
모든 자료 다운로드 누를때마다 똑같은 excel파일이 다운로드 받아짐. 노션 주소 공유되나요?
0
32
2
AI 활용 기획 단계에서의 질문
0
35
0
라이브 녹화 문의
0
69
2
Unauthorized 에러
0
42
2
파워쉘에서 패키지 설치 시 오류
0
40
2
Chat GPT API 설정하기 프롬프트
0
46
2
구글 플레이 등록 시, Privact Policy URL 등록 팁
0
42
1
강의 영상 오류
0
58
1
colab 실습 에러 질문
0
184
2
폐쇄 환경에서 챗봇
0
203
1
에러가 나네요
0
338
1