タイトルの通り比較します。 バッチサイズはなるべく大きい値にする WD1-5を対象にする（SD1.x系はもっと遅くなります） nvidia-smiを適当にうちこんでVRAM使用量を記録します プログレスバーの時間をそのまま記録します samples/秒は1秒で何枚学習できるかと ...

This repository contains a Jupyter notebook (Efficient Gradient Checkpointing.ipynb) that demonstrates gradient checkpointing in PyTorch to reduce GPU memory usage during training of large models. It ...

調査に使う学習コードは疑似的に作成したものになります。画像データ等は使わず、ランダムなテンソルをネットワークに入力します。VAEは使いません。共通設定を以下のようにします。 モデル：Stable-Diffusion-v1.5 これを基本設定として、ある項目を変えて ...

As a precision: setting gradient_checkpointing_kwargs to {"use_reentrant":False} works, but I think. the default settings (which are to use the reentrant variant of checkpointing) should work. I am ...