↓ メインコンテンツへスキップ

ローカル LLM による RPG 会話システムを作ってみた

icysamon
著者
icysamon
𓆝𓂃 𓈒𓏸

はじめに
#

皆さん、こんにちは!

今日は先日書いた生成 AI 機能の不具合を修復するつもりだが…

これですね。

でも XAI の無料クレジットが回収されたようです。

XAI クレジット残高画面

以前は月150ドル分のトークン枠もあったのに!

仕方ないので、ローカル LLM に移行することにしました。

ローカル LLM による RPG 会話システム

Docker Model Runner
#

最初は Docker Model Runner を試してみましたが、あんまり使えないです。

Docker Desktop チャット画面

さらに WSL を使っているので、このようにポート転送をする必要があります。

netsh interface portproxy add v4tov4 listenport=12434 listenaddress=0.0.0.0 connectport=12434 connectaddress=127.0.0.1

他のモデルもなぜか全然ダウンロードできません。

このエラーが出ます:

失敗

Failed to pull model: pulling ai/granite4.2 failed with status 500 Internal Server Error: error while pulling model: reading model from registry: failed to pull model “ai/granite4.2”: UNKNOWN - GET https://index.docker.io/v2/ai/granite4.2/manifests/latest: TOOMANYREQUESTS: You have reached your unauthenticated pull rate limit. https://www.docker.com/increase-rate-limit

AI に聞いてみたらなんか制限があって BAN されたようです。

Ollama & Open WebUI
#

Docker Model Runner がちょっと面倒くさいと感じて、Ollama & Open WebUI にしました。

僕は 8G の 4060ti しかないので、最初は gemma4:e2b-it-q4_K_M にしましたが、

14.8B でも(ちょっと遅い~けど)結構いけます。

インストールされたモデル

API Key を発行し、Godot と簡単に繋げることができました。

Open WebUI API Key

おわりに
#

最後はこのような感じです!