CPU推論でローカルAIを動かしてみた話

度々話していると思うんですが、このホームページなどは、私の動画メンバーのサーバーを借りて動かしています。最初に「サーバーがあったらな」的なことを言ったのは私なんですが、最初はMinecraft鯖、少ししてホームページを動かすという話を出しました。そこでいろいろあって かぶ (ブログを書いているうちの１人) がサーバーを持つことになったんですが、彼の趣味とかも相まって無駄につよつよサーバーとなってしまったんですよね。なので全体的に性能を持て余し気味となっていました。

そこで、私はもう少し有効活用できないかと考えていたときに、「ローカルLLMを動かしてみたらいいんじゃないか」とふと思いついたのです。現在私は個人的にChat GPTに月3000円課金しているのですが、せっかくあるサーバーでAIを無制限に使えたら、なかなか資金節約できるのでは？と思ったのです。

RAM：48GB
CPU：Xeon E5-2699 v4（22コア44スレッド）
GPU：ほぼ積んでないみたいなもの

上記の性能を見て皆さん思ったことがあるでしょう。
「GPU無いじゃねぇかよと。そしてこのCPUは一体何だ。」と

CPUは業務用で、Ryzen 7 5700x並の性能です。なのでCPUはサーバーとしては十分足りているのです。RAMも48GBで、そこまで多くはないといえ、なんとかローカルLLMを動かせる程度はあります。ただ問題はGPUなのです。

AIを動かすためには並列処理を得意とするGPUが最重要になってきます。最近のGPUの値上がりなども、これに影響するAI需要によるものですね。ただそれにもかかわらず、サーバーにはGPUが積んでありません。

もちろん私もGPUがないとまともにAIを動かせないのは知っていました。サーバーにGPUが付いていないのも知っていました。じゃあなぜそのような状態でローカルLLMを動かそうとしたのかというと、完全に出来心ですね。試すだけ試して、無理だったら放置でいいやという思いでした。すでにあるサーバーですし、試してまともに動かなくても損はないですしね。

ローカルLLMの操作画面は「Ollama」を使用しました。このツールは、ローカルでLLMを簡単に実行・管理できるオープンソースツールです。Coolifyというものでサーバーを運用しているのですが、「Ollama With Open WebUI」テンプレートを使用しています。操作画面は以下のような感じ↓

Chat GPTやClaudeなど、よくあるものと同じようなUIで、普通に使いやすいです。私はこういうものにそこまで詳しい訳ではないので、コンソール開いてなんたらとかあまりやりたくないので、非常にありがたいです。ちなみに、このページは私の独自のドメインを使って、ブラウザで開いています。Ollama内でアカウントを作って、他の人 (私の場合は動画メンバー) に渡せば、このブラウザにアクセスすることで複数人で使えるので、そのような点も含めて非常に使いやすいです。

また、ローカルLLMなので、Qwenやgemmaなどの様々なモデルを使い分けることが出来ます。

GPUなしのCPU推論で使ってみた結果としては、マジでまともに使えるものではありません。上の画像のように「こんにちは」と軽い挨拶をするだけで、返答する際に26秒間近く思考に時間がかかりました。

このように、ちょっと考える必要がある質問をしてみたら、滅茶苦茶思考に時間かかった上に、意味不明な回答をされました(質問は賢いGPT5.6君に考えてもらいました)。8Bモデルでこれなので、CPU推論は本当に使い物にならないということです。ローカルLLMを動かしたい皆さんは、調べたうえでしっかりGPU買いましょうね。

我々はこの結果を見て、ギリギリ買いやすい範囲の値段のRTX3060でも買ったほうがいいなという結論に至りました。実際に買うかは置いておいて…