강의

챌린지

멘토링

로드맵

커뮤니티

現代自然言語処理:Transformer構造の理解からLLMの実践的なファインチューニングまで

基礎はわかるけれど、実務への応用にお悩みですか?現場経験を活かし、複雑なLLMの仕組みをわかりやすく解説します。

難易度 中級以上

受講期間 無制限

Deep Learning(DL)
Deep Learning(DL)
NLP
NLP
AI
AI
LLM
LLM
Deep Learning(DL)
Deep Learning(DL)
NLP
NLP
AI
AI
LLM
LLM

130_Transformer実習コードのトラブルシューティング

最近、GoogleがTensorflowの最新バージョンを既存のsourceとback testing完全に不完全な状態にリリースしているようです。 sourceもupdateしておきました。

 

#現在のtensorflowバージョンを削除

!pip uninstall --y tensorflow

#tensorflow version downgrade

!pip install tensorflow==2.15.0

#ダウングレードされていることを確認

import tensorflow as tf

print(tf.__version__)

 

#ダウングレードされたTensorFlowのバージョンに合ったパッケージのインストール

!apt install --allow-change-held-packages libcudnn8=8.1.0.77-1+cuda11.2

# Install the compatible cuDNN version for CUDA 11.8

!apt install --allow-change-held-packages libcudnn8=8.1.0.77-1+cuda11.2

#Uninstall existing TensorFlow and related packages

!pip uninstall -y -q tensorflow keras tensorflow-estimator tensorflow-text

# Install the required protobuf version

!pip install protobuf~=3.20.3

#Install TensorFlow Datasets

!pip install -q tensorflow_datasets

#Install TensorFlow 2.15.0 and TensorFlow Text 2.15.0

!pip install -q -U tensorflow-text==2.15.0

 

これにより、T4 GPUベースのColabで1時間以内にトレーニング作業を終了できます。

コメント