런타임 유형 변경 및 토크나이저 관련 에러
안녕하세요 코랩 실습 과정 중
하드웨어 가속기 선택할 때 V100이 비활성화 되어있을경우 어떤 것을 선택해야 하는지 문의 드립니다.
아울러 모델튜닝 실습 중 tokenizer.default_chat_template 부분에서 에러가 뜨는데 다음 단계로 넘어갈 수 있도록 하는 방법이 있을까요?
이후 패스하고 넘어간다고 해도 PEFT - LoRA부분에서도 에러가 뜹니다.
혹시 위 부분에서 pip install flash-attn===1.0.4 부분을 처리하지 않아서 오류가 난 것일까요?
답변 2
1
[1] A100 > V100 > T4 순으로 사용하시면 됩니다 가장 좋은건 역시 A100이긴합니다
[2] 최신버전 hf에서는 llama2의 chat template이 depreciated되었습니다. llama3를 사용하시거나 default_chat_template을 무시하시고 진행하셔도됩니다 (저희가 어차피 따로 chat_template을 넣어주기 때문에)
[3] flash-attn은 사용하시면 좋지만 colab 환경에서 지원되지 않는 경우가 아직까진 있어서 참고용으로 주석만 처리해두었습니다. peft 에러를 보니 model을 참조하지 못하는것 같은데, peft를 적용할 모델 선언 후 실행하면 동작할것으로 보입니다
0
안녕하세요,
오류부분에 대한 실습 코드를 업데이트했습니다
trl의 sfttrainer 부분이 업데이트되다보니, 다르게 동작했던것 같습니다
이후에도 이슈발생하시면 공유주시면 감사하겠습니다
사주 판매를 위해서, 사업자등록증 업종 추가해야하나요?
0
12
0
gws OAuth 동의 화면 · 클라이언트 · 앱 도메인 · 게시 질문입니다.
0
16
0
섹션3에서 3.1 리서처 세이지에게 경쟁 카페 가격 조사표 맡기고 링크로 공유하기쪽에 문의가 있습니다.
0
18
1
섹션7 퀴즈에 나오는 "GPT for Sheets and Docs"
0
25
1
질문입니다!
0
31
1
프롬프트 내용에 대한 링크 위치 알려 주세요
1
38
1
헤르메스 구글 워크스페이스 연결 관련
0
36
1
수강 강의 다운로드
0
42
2
연애인 사주는 그냥 넣어도 상관없나요?
0
45
1
14강. 업체 연결이 필요하신 분은 개인톡으로 문의해주세요.
0
41
1
인프당 무당 캐릭터 뽑는 프롬프트
0
51
2
강의자료 문의
0
48
1
강의자료 링크 열리지 않음.
0
45
2
mcp 관련 질문
0
54
2
클로드 데스크톱 강의에서 교안찾기
0
42
2
강의가 중복됐어요
0
57
1
결제가 이루어지는 방식에 대한 문의
0
67
1
목차랑 내용이 전혀 다른데요
0
68
2
소리
0
40
1
수강인증 수료배지 링크가 만료되었습니다.
0
46
1
4.2.2 ~ 10.3.2.1 강의 영상 안나옴
0
59
2
colab 실습 에러 질문
0
245
2
폐쇄 환경에서 챗봇
0
243
1
에러가 나네요
0
385
1