はじめに #
皆さん、こんにちは!
今日は先日書いた生成 AI 機能の不具合を修復するつもりだが…
これですね。
でも XAI の無料クレジットが回収されたようです。

以前は月150ドル分のトークン枠もあったのに!
仕方ないので、ローカル LLM に移行することにしました。

Docker Model Runner #
最初は Docker Model Runner を試してみましたが、あんまり使えないです。

さらに WSL を使っているので、このようにポート転送をする必要があります。
netsh interface portproxy add v4tov4 listenport=12434 listenaddress=0.0.0.0 connectport=12434 connectaddress=127.0.0.1他のモデルもなぜか全然ダウンロードできません。
このエラーが出ます:
Failed to pull model: pulling ai/granite4.2 failed with status 500 Internal Server Error: error while pulling model: reading model from registry: failed to pull model “ai/granite4.2”: UNKNOWN - GET https://index.docker.io/v2/ai/granite4.2/manifests/latest: TOOMANYREQUESTS: You have reached your unauthenticated pull rate limit. https://www.docker.com/increase-rate-limit
AI に聞いてみたらなんか制限があって BAN されたようです。
Ollama & Open WebUI #
Docker Model Runner がちょっと面倒くさいと感じて、Ollama & Open WebUI にしました。
僕は 8G の 4060ti しかないので、最初は gemma4:e2b-it-q4_K_M にしましたが、
14.8B でも(ちょっと遅い~けど)結構いけます。

API Key を発行し、Godot と簡単に繋げることができました。

おわりに #
最後はこのような感じです!