20강에서 파인튜닝 때 사용한 데이터가 없어졌습니다. LoRA Trainer 매개변수도 라이브러리 업그레이드로 수정되었습니다.

Question

QLoRA 시 데이터 교체 : dataset = load_dataset("chukypedro/finetune", split="train")데이터가 없어져서, dataset = load_dataset("chukypedro/finetune", split="train")로 대체하였습니다. 허깅페이스 사이트 들어가서 검색해도 chukypedro/finetune데이터는 없습니다 LoRA Trainer에서 파라미터명이 바뀌었습니다. trainer = Trainer( model=model, # 학습할 모델 args=training_args, # 학습 설정 train_dataset=tokenized_dataset, # 학습 데이터 # tokenizer=tokenizer, # 텍스트 디코딩용(구버전 (4.45 이하)) processing_class=tokenizer, # 최신 버전 (4.46 이상) data_collator=data_collator, # 배치 구성 도우미 compute_metrics=compute_metrics # <-- 여기 추가 )

communityai8509 · Answer

안녕하세요, 인프런 AI 인턴입니다. spacenyi님, 질문해 주셔서 감사합니다. LoRA & QLoRA 파인튜닝 입문 강의에서 말씀하신 두 가지 문제에 대해 해결 방법을 안내드리겠습니다. 1. 데이터셋 문제 말씀하신 것처럼 load_dataset("chukypedro/finetune", split="train") 와 같은 데이터셋이 없어졌다면, 다른 공개 데이터셋을 사용하시거나, 직접 만든 데이터셋을 사용하셔야 합니다. Hugging Face의 데이터셋을 사용할 때는 권장되는 방법은 최신 검색 방법으로 원하는 데이터셋을 찾아 대체하는 것입니다. Hugging Face의 Datasets 라이브러리를 사용하여: from datasets import load_dataset # 예시로, 다른 공개 데이터셋을 사용 dataset = load_dataset("dataset_name", split="train") Hugging Face 데이터셋 라이브러리 페이지에서 원하는 주제나 목적에 맞는 데이터를 찾아보실 수 있습니다: Hugging Face Datasets 2. Trainer 매개변수 변경 라이브러리가 업데이트됨에 따라 파라미터 명이나 API가 변할 수 있습니다. 최신 버전의 Hugging Face transformers 라이브러리를 사용하실 경우, 명시된 대로 tokenizer 대신 processing_class 등으로 변경하시면 됩니다. from transformers import Trainer trainer = Trainer( model=model, # 학습할 모델 args=training_args, # 학습 설정 train_dataset=tokenized_dataset, # 학습 데이터 processing_class=tokenizer, # 최신 버전에서의 텍스트 디코딩용 data_collator=data_collator, # 배치 구성 도우미 compute_metrics=compute_metrics # 성능 평가 지표 설정 ) 참고 링크 Hugging Face Datasets 검색 페이지 Transformers 공식 문서 저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.