Stable Diffusionが遅い原因と高速化設定まとめ

こんにちは、ローカルAI工房のコーボーです。

Stable Diffusionで生成ボタンを押して、進捗バーがじわじわとしか進まない。「エラーは出ないのに、なんでこんなに遅いんだろう」と首をかしげた経験、ありますよね。私はRTX 4070 SUPER（VRAM 12GB）で毎日AIイラストの実務を回していますが、環境を作った当初は同じように「遅い」に悩まされました。遅さの原因の多くは、VRAMからメインメモリへのはみ出しと、UI・設定の最適化不足です。つまりGPUを買い替える前に直せることがかなりある、ということ。この記事では、効く順に高速化の手順をまとめて、それでも遅いときに「GPUの限界」と判断する目安まで整理しますね。

• Stable Diffusionが遅くなる3つの原因
• 本当に遅いのかを確かめる方法
• 効く順に並べた高速化の設定手順
• 設定では限界と判断してGPUを見直す目安

結論：遅さの原因は3層に分かれる

まず結論からお伝えします。Stable Diffusionが遅い原因は、だいたい次の3層のどれかに当てはまります。上から順に疑うのが、遠回りしないコツですよ。

大事なのは順番です。③から疑ってGPUを買っても、①が残っていれば新しいGPUでも同じことが起きます。逆に①と②を片づけると、同じGPUのまま体感で倍近く変わることも珍しくありません。

落ちないのに遅いはVRAMのはみ出し

いちばん多い原因がこれです。NVIDIAのドライバには、VRAMが足りなくなったときにメインメモリ（PCのRAM）を代わりに使う「System Memory Fallback」という仕組みがあります。おかげでメモリ不足でもエラーで落ちにくくなった反面、メインメモリはVRAMよりずっと遅いので、はみ出した瞬間に速度がガクッと落ちる。ドライバの設定で挙動を変えられます（出典：NVIDIA公式サポート「System Memory Fallback for Stable Diffusion」）。

「エラーは出ないけど、明らかに遅い」「途中まで速いのに、最後のほうで急に止まったようになる」はこの症状の典型です。特にHires.fixやアップスケールで拡大する段階、大きなモデルに切り替えた直後に起きやすいですね。エラーで落ちる側（CUDA out of memory）の対処は、姉妹記事のStable DiffusionのVRAM不足対策にまとめました。この記事は「落ちないけど遅い」側に絞って進めます。

設定の最適化不足も意外と多い

2つめは、VRAMに余裕があるのに設定が重いパターン。ステップ数を必要以上に上げている、毎回Hires.fixをかけている、古いWebUIを最適化なしで使っている、といったケースです。こちらはVRAM不足ほど劇的ではないものの、「1枚30秒が20秒になる」くらいの差は普通に出ます。毎日何十枚も生成する人にとっては、この差が積み重なって作業時間そのものを変えますよ。

まず「本当に遅いのか」を確かめる

対策の前に、いま起きている遅さが「異常」なのか「そのGPUなら普通」なのかを切り分けましょう。ここを飛ばすと、正常な速度に対して延々と設定をいじることになります。

一般的な目安として、SDXL系のモデルで1024×1024・20〜30ステップ・拡張なしなら、ミドルクラス以上のGPU（VRAM 12GB前後）で1枚あたり十数秒〜数十秒くらいが普通の範囲です。これが分単位なら、ほぼ確実に何かがおかしい。逆に20秒前後なら、それはそのGPUの実力に近いので、次の章の「設定の最適化」で数秒を削る話になります。数値はモデルやサンプラーで大きく変わるので、あくまで一般的な目安として見てください。

測るときのコツは、同じプロンプト・同じシード・同じサイズで2枚目以降を測ること。WebUIを起動した直後の1枚目は、モデルをVRAMに読み込む時間が含まれるので必ず遅くなります。これを「遅い」と勘違いする人が本当に多いんですよね。モデルを切り替えた直後も同じです。2枚目以降が安定して遅いなら、そこで初めて原因探しに入ってください。生成時間はWebUIの画面下やコンソール（黒い画面）に表示されるので、設定を変える前後でメモしておくと効果が一目で分かりますよ。

タスクマネージャーで見る場所

Windowsなら、タスクマネージャーの「パフォーマンス」タブでGPUを選ぶと、生成中の様子が分かります。見るべきは3つです。

・GPU使用率：生成中に100%近くに張り付いていれば、GPUはちゃんと働いています。私の環境でも、正常に回っているときはGPU使用率100%で推移します。逆に使用率が低いまま遅いなら、GPU以外（CPUやディスク、メインメモリとのやり取り）で詰まっている可能性が高い
・専用GPUメモリ：VRAMの使用量。上限に張り付いていたら要注意
・共有GPUメモリ：ここが生成中に増えていたら、まさにメインメモリへのはみ出しが起きている証拠です

高速化の手順：効く順に試す

ここからが本題です。効果が大きくて副作用が少ない順に並べたので、上から順番に、1つ変えるごとに同じプロンプトで生成時間を測ってみてください。「何が効いたか」が分かると、次に環境を組み直すときにも役立ちますよ。

ドライバ設定でメインメモリへのはみ出しを止める

最初にやるのは、NVIDIAコントロールパネルの設定です。「3D設定の管理」→「CUDA – システムメモリフォールバックポリシー」を「システムメモリフォールバックを優先しない」に変更すると、VRAMが足りないときにメインメモリへ逃がさなくなります。

ただし注意点があって、これは「はみ出しを速くする」設定ではなく「はみ出したら落ちる」設定です。つまり、静かに遅くなる代わりに、はっきりエラーで止まるようになる。原因が見える化されるので、あとは画像サイズやバッチ数を下げて「落ちない範囲」を探せば、その範囲内では本来の速度で回ります。「落ちるようになった」は改善の第一歩なので、驚かないでくださいね。設定名や挙動はドライバのバージョンで変わることがあるので、最新の正確な情報は公式サイトでご確認ください。

あわせて、はみ出しの元凶になりやすい画像サイズも見直します。生成サイズは面積に比例してVRAMを食うので、SDXL系なら1024×1024を上限の目安に、それ以上の大きさは「生成」ではなく後述のアップスケールで作るのが速道です。

ドライバそのものの更新も忘れずに。生成AI向けの最適化はドライバ側で少しずつ積み重ねられているので、極端に古いドライバのままだと、それだけで損をしていることがあります。ただし最新版で不具合が出ることもあるので、Studioドライバなど安定版を選ぶか、更新前のバージョンに戻せるようにしておくと安心ですよ。

起動オプションとWebUIの見直し

次は、WebUI側の最適化です。ここは使っているWebUIで話が変わります。

AUTOMATIC1111系で「–xformers」を付けていない人は、これだけで目に見えて速くなります。xformersはメモリ効率と速度を改善する定番の仕組みで、NVIDIA GPU限定。PyTorch 2系なら「–opt-sdp-attention」でも近い効果が得られます。

そしてもう一段の近道が、WebUIそのものをForge系に替えること。Forge系はもともと「A1111を高速化・省VRAM化する」目的で作られた派生で、同じGPUでも生成が軽くなります。私も画像生成の本番環境はForge Neoで、起動オプションで悩んだことはほぼありません（出典：Forge Neo公式GitHub）。AUTOMATIC1111は2024年以降更新が止まっているので、遅さの解消と将来性の両方の意味で乗り換える価値がありますよ。WebUIの選び方はStable DiffusionのWebUI比較で整理しています。

ステップ数・サンプラー・Hires.fixを削る

3つめは、生成そのものの重さを減らす設定です。地味ですが、毎回の生成に効くので積み重なると大きい。

・ステップ数：生成時間はほぼステップ数に比例します。50や60にしている人は、いったん20〜30に戻してみてください。多くのモデルは20〜30で十分な品質に達していて、それ以上は時間だけ増えて見た目はほとんど変わらない、というのが一般的な傾向です
・サンプラー：サンプラーによって1ステップの重さが違います。名前に「2M」「2S」など「2」が付く系統（DPM++ 2M など）は1ステップの計算量が比較的軽く、「SDE」「3M」系は重め。迷ったら軽い系統で試作し、決定稿だけ重い系統に切り替えるのが効率的ですね
・Hires.fix：一度生成した画像を拡大して描き直す機能で、有効にすると生成時間が2〜3倍になることも普通です。試作の段階では切っておき、気に入った1枚だけHires.fixで仕上げる。これが体感速度をいちばん変えます

もうひとつ、地味に効くのがバッチの組み方です。同時生成枚数（Batch size）を増やすと1枚あたりの時間は少し短くなることがありますが、VRAMを枚数分だけ余計に使うので、はみ出した瞬間に逆効果になります。VRAMに余裕がある人だけBatch sizeを2〜4に、それ以外の人はBatch sizeは1のままBatch count（回数）で枚数を稼ぐのが安全ですね。あわせて、使い終わった拡張機能（ControlNetなど）のモデルはアンロードしておくと、VRAMの空きが戻って次の生成が軽くなります。

fp8モデルと少ステップ系で一段速く

最後は、モデル側の工夫です。FLUX系など大型モデルには、精度を少し落として容量を半分近くにした「fp8」版が配布されていることが多く、VRAMに収まりやすくなるぶん、はみ出しが消えて結果的に速くなります。私が動画生成AI「Wan 2.2」で使っているのもfp8版で、フル精度版は12GBには載りません。画質差は用途次第ですが、「まず動く・まず速い」を優先するなら試す価値は高いです。

さらに、Lightning・Turbo・Hyper・LCMといった少ステップ向けの仕組みを使うと、4〜8ステップで1枚が仕上がります。通常の20〜30ステップと比べると単純計算で数分の一の時間。対応モデルやLoRAを使う必要はありますが、大量に試作したい人にはかなり効きますよ。

ただし少ステップ系には向き不向きがあって、細部の描き込みや複雑な構図では通常ステップに比べて粗さが出ることもあります。私のおすすめは、少ステップ系を「構図とプロンプトの当たりをつける道具」として使い、当たりが決まった1枚を通常ステップとHires.fixで清書する流れ。これも結局は「試作は軽く・仕上げだけ重く」の考え方の延長ですね。なお、NVIDIA公式のTensorRTのようにモデルをGPU専用に変換して速くする仕組みもありますが、モデルやLoRAを切り替えるたびに変換が必要で、変換にも時間がかかるため、毎日モデルを替える実務ではやや扱いにくい印象です。固定モデルで大量生産する人向けの上級手段、と覚えておけば十分かなと思います。

それでも遅いならGPUの限界を疑う

ここまでの手順を一通り試して、はみ出しもなく、設定も軽くしたのにまだ遅い。そうなったら、原因の3層目、GPUそのものの限界を疑う段階です。

買い替えを考えるサイン

私が「設定ではなくGPUの問題」と判断する目安は次の3つです。

・タスクマネージャーでGPU使用率100%・共有GPUメモリの増加なし、なのに生成時間が目安の範囲を大きく超える
・VRAMは足りているのに、SDXL系1024×1024・20ステップで1枚1分以上かかる（GTX世代など古いGPUによくある症状）
・省VRAM設定を外すとはみ出す、付けると遅い、の板挟みから抜けられない

ひとつ補足すると、GPUの「世代」も速さに直結します。同じVRAM容量でも、新しい世代ほどAI計算向けの仕組みが強化されていて、fp8のような軽量形式をハードウェアで効率よく処理できるようになっています。数世代前のGPUで「設定を全部やったのに遅い」なら、それは故障でも設定ミスでもなく、単純に世代の差です。ここは受け入れて、次の候補を見る段階ですね。

3つめは要するにVRAM容量不足で、これは設定でどうにもなりません。速さより先に容量、が買い替えの鉄則です。同じ世代のGPUなら、VRAMの多い方を選ぶ。速いGPUでもVRAMが足りなければ設定で速度を削ることになるからですね。

執筆時点のGPU候補

2026年8月の執筆時点で、AI画像生成向けに現実的な候補を整理しておきます。価格は変動が大きいので、必ず購入時点の実売価格を確認してください。

「遅い」の解決策としてGPUを見るときは、まず自分の遅さが①はみ出し由来か③性能由来かを確かめてから選んでください。はみ出し由来なら5070（12GB）は解決になりませんし、性能由来で容量が足りているなら5070でも十分速くなります。NVIDIAを選ぶ理由やGPU選びの基準はAIパソコンはNVIDIAが有利？で詳しく解説しています。電源やケースの都合で本体ごと替える場合は、AI画像生成向けパソコンの選び方を参考にしてみてください。

生成速度のよくある質問

急に遅くなりました。壊れたのでしょうか？

壊れている可能性は低いです。新しいモデルや拡張機能を入れた後に急に遅くなったなら、VRAMがあふれてメインメモリへはみ出している可能性が高いですよ。タスクマネージャーで共有GPUメモリが増えていないか確認して、画像サイズや拡張機能を減らしてみてください。

xformersを入れたら画像が毎回微妙に変わります

xformersの仕様で、同じ設定でもごくわずかに結果がぶれることがあります。完全に同じ画像を再現したい場面では「–opt-sdp-no-mem-attention」など別の最適化に切り替える手もありますが、通常の制作では気にしなくて大丈夫です。

メインメモリ（RAM）を増やせば速くなりますか？

生成そのものは速くなりません。速さを決めるのはVRAMとGPU性能です。ただ、モデルの切り替えで毎回待たされる場合や、動画生成など大きなモデルを扱う場合はRAM不足が足を引っ張ることがあるので、32GB未満なら増設の価値はありますよ。

CPUを速いものに替える意味はありますか？

画像生成の本体はGPUが担うので、CPUの影響は小さいです。極端に古いCPUでなければ優先度は低く、同じ予算ならGPUのVRAM容量に回した方が効果は大きいですね。

結局、いちばん効く設定は何ですか？

VRAMがはみ出している人は「はみ出しを止める（ドライバ設定＋画像サイズ）」。足りている人は「Hires.fixを試作で切る＋ステップ数を20〜30に戻す」。この2つで、体感の大半は変わりますよ。どちらに当てはまるかは、タスクマネージャーの共有GPUメモリを見れば判断できます。

まとめ：はみ出しを止めて、試作は軽く

最後に要点をまとめますね。

「遅い」は放っておくと創作のテンポを静かに削っていきます。でも、原因の多くは設定で直せますし、直せない部分が見えたときに初めてGPUにお金をかければ無駄がありません。あなたの環境が少しでも軽くなる参考になればうれしいです。