dreamingbumblebee

미들 (4~8년)

안녕하세요,오류부분에 대한 실습 코드를 업데이트했습니다trl의 sfttrainer 부분이 업데이트되다보니, 다르게 동작했던것 같습니다이후에도 이슈발생하시면 공유주시면 감사하겠습니다

런타임 유형 변경 및 토크나이저 관련 에러

colab 실습 에러 질문

넵! 허깅페이스에서 데이터와 모델을 미리 모두 받으신 상태에서, 로딩하는 부분의 path만 해당 파일 path로 바꾸신 후 진행하시면 됩니다

폐쇄 환경에서 챗봇

[1] A100 > V100 > T4 순으로 사용하시면 됩니다 가장 좋은건 역시 A100이긴합니다[2] 최신버전 hf에서는 llama2의 chat template이 depreciated되었습니다. llama3를 사용하시거나 default_chat_template을 무시하시고 진행하셔도됩니다 (저희가 어차피 따로 chat_template을 넣어주기 때문에)[3] flash-attn은 사용하시면 좋지만 colab 환경에서 지원되지 않는 경우가 아직까진 있어서 참고용으로 주석만 처리해두었습니다. peft 에러를 보니 model을 참조하지 못하는것 같은데, peft를 적용할 모델 선언 후 실행하면 동작할것으로 보입니다

dreamingbumblebee

Posts