런타임 유형 변경 및 토크나이저 관련 에러

안녕하세요,오류부분에 대한 실습 코드를 업데이트했습니다trl의 sfttrainer 부분이 업데이트되다보니, 다르게 동작했던것 같습니다이후에도 이슈발생하시면 공유주시면 감사하겠습니다

colab 실습 에러 질문

안녕하세요,오류부분에 대한 실습 코드를 업데이트했습니다trl의 sfttrainer 부분이 업데이트되다보니, 다르게 동작했던것 같습니다이후에도 이슈발생하시면 공유주시면 감사하겠습니다

폐쇄 환경에서 챗봇

넵! 허깅페이스에서 데이터와 모델을 미리 모두 받으신 상태에서, 로딩하는 부분의 path만 해당 파일 path로 바꾸신 후 진행하시면 됩니다

런타임 유형 변경 및 토크나이저 관련 에러

[1] A100 > V100 > T4 순으로 사용하시면 됩니다 가장 좋은건 역시 A100이긴합니다[2] 최신버전 hf에서는 llama2의 chat template이 depreciated되었습니다. llama3를 사용하시거나 default_chat_template을 무시하시고 진행하셔도됩니다 (저희가 어차피 따로 chat_template을 넣어주기 때문에)[3] flash-attn은 사용하시면 좋지만 colab 환경에서 지원되지 않는 경우가 아직까진 있어서 참고용으로 주석만 처리해두었습니다. peft 에러를 보니 model을 참조하지 못하는것 같은데, peft를 적용할 모델 선언 후 실행하면 동작할것으로 보입니다