질문&답변
런타임 유형 변경 및 토크나이저 관련 에러
안녕하세요, 오류부분에 대한 실습 코드를 업데이트했습니다 trl의 sfttrainer 부분이 업데이트되다보니, 다르게 동작했던것 같습니다 이후에도 이슈발생하시면 공유주시면 감사하겠습니다
- 좋아요수
- 0
- 댓글수
- 2
- 조회수
- 332
꿈꾸는범블비님의 게시글
미들 (4~8년) · 머신러닝 엔지니어
대기업(S사, 판교) / 네카라출신
- 수강생
- 472
- 수강평
- 90
- 강의 평점
- 4.4
- 함께한 멘티
- 69
- 멘토링 리뷰
- 24
- 멘토링 평점
- 4.9
게시글 4
질문&답변
colab 실습 에러 질문
안녕하세요, 오류부분에 대한 실습 코드를 업데이트했습니다 trl의 sfttrainer 부분이 업데이트되다보니, 다르게 동작했던것 같습니다 이후에도 이슈발생하시면 공유주시면 감사하겠습니다
- 좋아요수
- 0
- 댓글수
- 2
- 조회수
- 208
질문&답변
폐쇄 환경에서 챗봇
넵! 허깅페이스에서 데이터와 모델을 미리 모두 받으신 상태에서, 로딩하는 부분의 path만 해당 파일 path로 바꾸신 후 진행하시면 됩니다
- 좋아요수
- 0
- 댓글수
- 1
- 조회수
- 221
질문&답변
런타임 유형 변경 및 토크나이저 관련 에러
[1] A100 > V100 > T4 순으로 사용하시면 됩니다 가장 좋은건 역시 A100이긴합니다 [2] 최신버전 hf에서는 llama2의 chat template이 depreciated되었습니다. llama3를 사용하시거나 default_chat_template을 무시하시고 진행하셔도됩니다 (저희가 어차피 따로 chat_template을 넣어주기 때문에) [3] flash-attn은 사용하시면 좋지만 colab 환경에서 지원되지 않는 경우가 아직까진 있어서 참고용으로 주석만 처리해두었습니다. peft 에러를 보니 model을 참조하지 못하는것 같은데, peft를 적용할 모델 선언 후 실행하면 동작할것으로 보입니다
- 좋아요수
- 0
- 댓글수
- 2
- 조회수
- 332