実務中心のディープラーニングNLP深化：LLMアーキテクチャとファインチューニング実践

最近、GoogleがTensorflowの最新バージョンを既存のsourceとback testing完全に不完全な状態にリリースしているようです。 sourceもupdateしておきました。

#現在のtensorflowバージョンを削除

!pip uninstall --y tensorflow

#tensorflow version downgrade

!pip install tensorflow==2.15.0

＃ダウングレードされていることを確認

import tensorflow as tf

print(tf.__version__)

＃ダウングレードされたTensorFlowのバージョンに合ったパッケージのインストール

!apt install --allow-change-held-packages libcudnn8=8.1.0.77-1+cuda11.2

# Install the compatible cuDNN version for CUDA 11.8

!apt install --allow-change-held-packages libcudnn8=8.1.0.77-1+cuda11.2

#Uninstall existing TensorFlow and related packages

!pip uninstall -y -q tensorflow keras tensorflow-estimator tensorflow-text

# Install the required protobuf version

!pip install protobuf~=3.20.3

#Install TensorFlow Datasets

!pip install -q tensorflow_datasets

#Install TensorFlow 2.15.0 and TensorFlow Text 2.15.0

!pip install -q -U tensorflow-text==2.15.0

これにより、T4 GPUベースのColabで1時間以内にトレーニング作業を終了できます。