130_Transformer.ipynb 오류 대응 부탁드립니다.

Question

130_Transformer.ipynb 코드에서 2가지 오류가 나오네요. import tensorflow_datasets as tfds 실행하면 protobuf버젼이 맞지 않다는 오류 'ted_hrlr_translate/pt_to_en' 데이터셋 로드에서 WARNING:absl:Variant folder /root/tensorflow_datasets/ted_hrlr_translate/pt_to_en/1.0.0 has no dataset_info.json Downloading and preparing dataset Unknown size (download: Unknown size, generated: Unknown size, total: Unknown size) to /root/tensorflow_datasets/ted_hrlr_translate/pt_to_en/1.0.0... Dl Completed...: 100% 1/1 [00:00<00:00, 4.65 url/s] Dl Size...: 0/0 [00:00() 1 # 'ted_hrlr_translate/pt_to_en' 데이터셋 로드 ----> 2 examples, metadata = tfds.load('ted_hrlr_translate/pt_to_en', 3 with_info=True, 4 as_supervised=True) 5 18 frames /usr/local/lib/python3.12/dist-packages/tensorflow_datasets/core/download/download_manager.py in _register_or_validate_checksums(self, url, url_info, path) 521 'https://www.tensorflow.org/datasets/overview#fixing_nonmatchingchecksumerror' 522 ) --> 523 raise NonMatchingChecksumError(msg) 524 525 def _is_checksum_registered(self, url: str) -> bool: NonMatchingChecksumError: Artifact http://www.phontron.com/data/qi18naacl-dataset.tar.gz, downloaded to /root/tensorflow_datasets/downloads/ted_hrlr_translate/phontron.com_qi18naacl-datasetLVhDyvf9PQ-GjP4jim31ESZuvRjHI5wpNhR5SJvsNOo.tar.gz.tmp.1280a2e15b064f8b8b6c6efb3bcc1f8a/index.html, has wrong checksum: * Expected: UrlInfo(size=124.94 MiB, checksum='216a86c3df4d4f522856fe9b920ff5be6b394d769cc88974ae8f9f5546953bbc', filename='qi18naacl-dataset.tar.gz') * Got: UrlInfo(size=705 bytes, checksum='dc6a6a54de630b2beee4b96c770b9f1b32615a8f0352ac31a1aab8285a351b8f', filename='index.html') To debug, see: https://www.tensorflow.org/datasets/overview#fixing_nonmatchingchecksumerror 확인부탁드립니다

YoungJea Oh · Answer

130_Transformers.ipynb 를 에러 수정하였습니다. github repo 에서 교재 다시 다운로드 받으시고 Colab 에서 돌리시면 됩니다. https://github.com/ironmanciti/infran_NLP 수정한 내용은 다음과 같습니다. 제가 테스트해 보았고 잘 실행되는 것 확인 했습니다. 단, 교재는 데이터 량과 실행 시간을 줄여서 추론 결과가 만족 스럽지는 않지만 좀 더 긴 시간 학습을 시키시면 좀 더 나은 결과물을 볼 수 있고, 대체적인 흐름을 파악하시는 것을 목적으로 하시기 바랍니다. # ============================================================ # 130_Transformer.ipynb # Google Colab / Python 3.12 # ============================================================ %pip install -q \ "tensorflow==2.20.0" \ "tensorflow-text==2.20.1" \ "datasets==5.0.0" print("설치 완료") print("런타임 → 세션 다시 시작 후 다음 셀부터 실행하세요.")