실무 중심의 딥러닝 NLP 심화: LLM 아키텍처와 파인튜닝 실전

최근 Google 이 Tensorflow 최신 버전을 기존 source 와 back testing 완전히 안된 불완전한 상태로 release 하고 있는 것 같습니다. 다음과 같이 tensorflow 를 현재의 2.17.0 에서 이전의 안정된 2.15.0 version 으로 downgrade 하여 문제를 해결하였습니다. github source 도 update 해 놓았습니다.

# 현재의 tensorflow version 삭제

!pip uninstall --y tensorflow

# tensorflow version downgrade

!pip install tensorflow==2.15.0

# downgrade 되었는지 확인

import tensorflow as tf

print(tf.__version__)

# Downgrade된 TensorFlow의 버전에 맞는 package 설치

!apt install --allow-change-held-packages libcudnn8=8.1.0.77-1+cuda11.2

# Install the compatible cuDNN version for CUDA 11.8

!apt install --allow-change-held-packages libcudnn8=8.1.0.77-1+cuda11.2

# Uninstall existing TensorFlow and related packages

!pip uninstall -y -q tensorflow keras tensorflow-estimator tensorflow-text

# Install the required protobuf version

!pip install protobuf~=3.20.3

# Install TensorFlow Datasets

!pip install -q tensorflow_datasets

# Install TensorFlow 2.15.0 and TensorFlow Text 2.15.0

!pip install -q -U tensorflow-text==2.15.0

이렇게 하시면 T4 GPU 기준 Colab 으로 1시간 이내에 training 작업 끝낼 수 있습니다.