런타임 유형 변경 및 토크나이저 관련 에러
안녕하세요 코랩 실습 과정 중
하드웨어 가속기 선택할 때 V100이 비활성화 되어있을경우 어떤 것을 선택해야 하는지 문의 드립니다.
아울러 모델튜닝 실습 중 tokenizer.default_chat_template 부분에서 에러가 뜨는데 다음 단계로 넘어갈 수 있도록 하는 방법이 있을까요?
이후 패스하고 넘어간다고 해도 PEFT - LoRA부분에서도 에러가 뜹니다.
혹시 위 부분에서 pip install flash-attn===1.0.4 부분을 처리하지 않아서 오류가 난 것일까요?
답변 2
1
[1] A100 > V100 > T4 순으로 사용하시면 됩니다 가장 좋은건 역시 A100이긴합니다
[2] 최신버전 hf에서는 llama2의 chat template이 depreciated되었습니다. llama3를 사용하시거나 default_chat_template을 무시하시고 진행하셔도됩니다 (저희가 어차피 따로 chat_template을 넣어주기 때문에)
[3] flash-attn은 사용하시면 좋지만 colab 환경에서 지원되지 않는 경우가 아직까진 있어서 참고용으로 주석만 처리해두었습니다. peft 에러를 보니 model을 참조하지 못하는것 같은데, peft를 적용할 모델 선언 후 실행하면 동작할것으로 보입니다
0
안녕하세요,
오류부분에 대한 실습 코드를 업데이트했습니다
trl의 sfttrainer 부분이 업데이트되다보니, 다르게 동작했던것 같습니다
이후에도 이슈발생하시면 공유주시면 감사하겠습니다
다음 강의 수강방법
0
8
0
강의 8번 관련
0
8
1
라이브 강의 녹화본은 어디에서 확인해 볼수 있을까요?
0
16
1
라이브 강의 녹화본은 어디에서 확인해 볼수 있을까요?
0
28
1
섹션8 강의자료가 안열려요
0
23
2
코드 최종 결과 질문드립니다.
0
28
2
지식공유 (윈도우 설치) [실습] 외부 MCP Server와 연동한 실시간 날씨 조회 - MCP Client 개발
0
27
1
AgentState의 messages 확인해주세요.
0
25
2
Request for Prompts
0
27
1
자료 다운로드가 안됩니다.
0
26
2
install까지 설치 하였는데 start 가안됩니다.
1
26
1
챌린지, 강의 차이 문의 드립니다.
0
30
2
벡터저장소 코드 실행시 경고메시지가 나타납니다.
0
22
1
예제를 좀 다양하게 해주세요. 너무 간단한 예제만 있어서 ... 좀 그렇습니다.
0
17
2
RateLimitError
0
28
2
안녕하세요 졸업프로젝트를 준비하는 학생입니다.!
0
49
1
수강기간즘연장해주세요
0
21
1
2.3 Agentic RAG 관련 질문이 있습니다.
0
36
2
챌린지 인증은 어디서 하나요?
0
31
1
dotenv, langchain_community 로드가 되지 않습니다.
0
28
1
FMP API 유료
1
33
1
colab 실습 에러 질문
0
198
2
폐쇄 환경에서 챗봇
0
211
1
에러가 나네요
0
347
1