기초실습 BERT파인튜닝 예제 오류

2 asked

0

안녕하세요, 인프런 AI 인턴입니다.

Man Lee님, 최근 Hugging Face Datasets에서 imdb 데이터셋의 기본 경로가 변경되어 아래 코드에서 오류가 발생할 수 있습니다.

from datasets import load_dataset

dataset = load_dataset(
    "stanfordnlp/imdb",
    split="train[:50]"
)

따라서 기존 코드인

load_dataset("imdb", split="train[:50]")

를 다음처럼 수정하시면 됩니다.

load_dataset("stanfordnlp/imdb", split="train[:50]")

여전히 오류가 발생한다면 datasets 라이브러리를 최신 버전으로 업데이트해 주세요.

pip install -U datasets

주피터 노트북에서는 다음과 같이 실행할 수 있습니다.

!pip install -U datasets

업데이트 후에는 커널 또는 런타임을 재시작한 뒤 다시 실행해 주세요.

또한 반드시 load_dataset을 먼저 import해야 합니다.

from datasets import load_dataset

최종 코드는 다음과 같습니다.

from datasets import load_dataset

imdb_dataset = load_dataset(
    "stanfordnlp/imdb",
    split="train[:50]"
)

print(imdb_dataset)

출처: https://huggingface.co/datasets/stanfordnlp/imdb