最新AI「GLM-5.3」は自宅のPCで動くのか —— ローカルLLMに必要なメモリ・マシン・費用

AIを自分のパソコンで動かすという選択肢

ふだんのチャットAIは入力を外部に送る

ふだん使うチャットAIでは、入力した内容が提供する会社のサーバーに送られ、そこで答えが作られます。[s2]社外秘のレシピや顧客名簿を扱うとき、これをためらう人は少なくありません。そこで候補になるのが、AIを自分のパソコンで動かす「ローカルLLM」です。[s2]

注目を集めているのが、中国のZ.aiが8月に発表したGLM-5.3です。[s1]重みが公開されているので誰でもダウンロードできますが、その大きさは約756GBあります。メモリ16GBのノートPCと比べると約47倍で、そのままでは到底入りません。[s2]

ローカルLLMとは何か

クラウドのAI

• 会社のサーバーで動く
• 入力を送って答えをもらう

VS

ローカルLLM

• 自分のPCで動く
• 入力は手元で処理

ふだん使っているチャットAIは、クラウドのAIです。[s2]料理にたとえると、材料をレストランに届けて料理を作ってもらう形です。ローカルLLMは自分の家の台所で作る形で、材料は家から出ません。その代わり、台所と道具は自分でそろえる必要があります。

ローカルLLMの利点

利点は主に4つあります。入力を手元で処理するので外に出ないこと、使った分の料金がかからないこと、ネットにつながらなくても動くこと、そしてモデルを自由に選べることです。[s2]

自分で負担するもの

一方で、マシン・電気代・設定や更新の手間は自分で負担することになり、小さいモデルでは苦手な仕事も出てきます。とくに、大きいAIほどマシンが高くなる点が、本記事の中心となる問題です。

また、AIを手元で動かしていても、Web検索や外部の道具、クラウド版のモデルを使えば通信は発生します。[s11]「ローカルだから何も外に出ない」とは限りません。

GLM-5.3の実力

GLM-5.3は、プログラミングとAIエージェントの仕事が得意なモデルです。[s1][s2][s5]前のGLM-5.2と同じ土台に、追加の学習を重ねて性能を上げました。[s1]重みは、安全性の確認のため、発表から2週間後に公開されています。[s1][s2]

Z.aiが発表したソフト開発のテスト

Z.aiの発表では、ソフト開発の課題を解くテスト（DeepSWE）で、前の版の46.2点から66.9点へ大きく伸びました。同じ表には、AnthropicのClaudeやOpenAIのGPTも並んでいます。[s2]ただし、これは会社自身の発表で、比べた相手は8月時点のモデルです。[s2]

第三者の指数で見ると

第三者の評価機関Artificial Analysisの指数では、最新の非公開のAIとはまだ差があるものの、重みを公開しているモデルの中では上位に入っています。[s19]

軽量版のGLM-5.3-Flash

8月26日には、軽くて安い「GLM-5.3-Flash」も発表されました。全体のパラメータは約3,200億、1回に使うのは約180億で、画像も読めます。[s3][s4][s5][s6]

なぜ756GBもあるのか

LLMの中身は、パラメータ（重み）と呼ばれる大量の数値です。学習を通じてこれらの値を調整し、うまく答えられるようにしています。GLM-5.3のパラメータは約7,500億個あります。[s2]

重さの計算

パラメータ1個を1バイト（8ビット）で持つと、7,500億バイト、つまり約756GBになります。[s2]AIを動かしている間は、この重みをすべてメモリに置いておく必要があります。

Qなぜストレージではなく、メモリに置く必要がある？

ストレージを倉庫、メモリを作業台にたとえると分かりやすくなります。AIは答えを書く間に何度も重みを読み直すため、倉庫から毎回取り出していては遅すぎます。いま使う物は作業台に広げておく必要があるのです。

Q1回に使うのは約400億なら、もっと小さくて済むのでは？

MoEの仕組み

ここがよくある誤解です。GLM-5.3はMoEという仕組みを使っています。[s6]厨房に職人が256人いて、注文が来るたびに、合う職人8人といつもの1人だけを呼んで料理を作る、と考えると分かりやすいでしょう。[s2]1回の計算に使うのが約400億なのはこのためです。[s6]

しかし、次の注文で誰が呼ばれるかは分からないので、職人は全員お店にいなければなりません。[s2][s6]つまりMoEは計算を速くする工夫であって、必要なメモリを減らす工夫ではありません。

量子化で小さくする

メモリを減らす方法としては、数値を粗く丸める「量子化」があります。[s7]細かい目盛りの定規を、粗い目盛りの定規に替えるようなもので、8ビットを4ビットにすればおおよそ半分になり、さらに丸めればもっと小さくなります。[s7]

GLM-5.3のファイルの大きさ

GLM-5.3の場合、8ビットの元の重みが756GBなのに対し、4ビット版は365〜467GB、2ビット版は239〜254GB、1ビット版は217〜229GBです。[s2][s9]

丸めると、答えが少しずつ変わる

ただし、丸めるほど中身は少しずつ変わります。この図は、元のモデルが次にいちばん選ぶ言葉と、量子化したモデルが同じ言葉を選ぶ割合を示したもので、4ビットでは94.3%、1ビットでは72.6%でした。[s7]1ビット版では、4回に1回ほど違う言葉を選ぶ計算になり、難しい仕事ほど差が出るおそれがあります。[s7]

メモリには重み以外も必要

さらに、メモリにはファイルのほかにも必要なものがあります。AIが読んだ文章を覚えておくKVキャッシュは、長い文章ほど大きくなり、パソコン自身が使う分も要ります。[s7][s9]そのため、2ビット版でも256GBのマシンでぎりぎりです。[s7]

「100万トークン読める」というのはモデルの仕様であり、実際に100万トークンを読ませれば、その分のKVキャッシュがさらにメモリを使います。[s5][s7]

何GBあれば動くのか —— マシンと値段

メモリの大きさで並べたマシン

マシンをメモリの大きさで並べると、次のようになります。一般的なパソコンは16GB前後で、Mac miniは14万9,800円からです。[s15]ゲーム用の高性能GPUであるRTX 5090でもメモリは32GBで、GPU単体で100万円を超えます。[s17][s20]AI開発用の小型機DGX Sparkは128GBです。[s16][s20]

Mac Studioは256GBの構成で190万3,800円、512GBの構成は10月下旬の発売予定です。[s14]その上には、データセンター用のGPU（H200）を8枚つないだ、合計1,128GBのサーバーがあります。[s18]

重みだけで比べても、GLM-5.3を元の重みのまま動かせるのは、このうちいちばん大きなサーバーだけです。[s2][s18]実際には会話を覚えておくメモリなども必要なので、余裕はさらに小さくなります。

何が動くか（重さから見た目安）

マシンごとに何が動くかを、重さと必要なメモリから整理したのがこの表です。○は入ることを、ビット数はそこまで丸めれば入ることを示す目安です。[s7][s8][s12]なお、入ることと速く答えられることは別の問題で、本記事では速さは測っていません。[s7]

GPUを借りるという方法

GPUは借りることもでき、データセンター向けのH200を8枚借りると1時間あたり約5,500〜6,700円です。[s21][s22]ただし、借りたGPUにはデータを送ることになるため、厳密には「自分の手元」ではありません。[s21]

APIで使うといくらかかるか

もう1つの方法が、Z.aiのAPIを使い、クラウドで使った分だけ料金を払う方法です。[s5]料金は100万トークンあたりで決まっています。トークンはAIが文章を数える単位です。

1か月の料金の試算

例として、1か月に1,000万トークンを読ませ、200万トークンを書かせる使い方を試算すると、Flashなら月に約400円、GLM-5.3でも約3,600円です。[s5][s22]

256GBのMac Studio（約190万円）の代金は、GLM-5.3のAPIの試算で約44年分にあたります。ただし、APIでは入力が会社のサーバーに送られます。[s5]秘密のデータを送ってよいかどうかは、値段とは別に判断が必要です。

「:cloud」の落とし穴

ollama run glm-5.3:cloud

ローカルのつもりで外部に送ってしまう落とし穴もあります。Ollamaというアプリには、名前の最後に「:cloud」が付いたモデルがあり、これはダウンロードされずに米国と欧州のサーバーで動きます。[s10][s11]

目的別の選び方

目的ごとに選び方を整理します。まず試したいなら、いまのパソコンで小さいモデルから始めましょう。[s10]OpenAIのgpt-oss 20Bは、16GBのメモリで動くように作られています。[s12]秘密のデータを扱うなら、32GB前後のマシンで、もう少し大きいモデルが候補になります。[s10][s13]

GLM-5.3の力が必要なら、外に送ってよいデータで、まずAPIから試すのが近道です。会社としてすべてを手元に置くならGPUサーバーという選択肢もありますが、費用に加えて管理する人も必要です。[s5]

組み合わせて使う

両方を組み合わせる方法もあります。たとえば、レシピや名簿の整理は手元の小さいAIで行い、秘密ではない難しい仕事だけをAPIに任せる、という使い分けです。

使う前の注意

ライセンスはモデルごとに違う

要点

ライセンスのちがい

GLM-5.3

独自。巨大なAI事業は審査

Flash

MIT

gpt-oss

Apache 2.0（Qwenも）

1つ目はライセンスです。重みが公開されていても、使い方の条件はモデルごとに違います。[s2][s4][s12][s13]GLM-5.3の独自ライセンスは使用や商用利用を広く認めていますが、AIを貸し出す事業を行う非常に大きな会社には、Z.aiの審査を求めています。[s2]仕事で使う前には、必ず本文を読みましょう。

2つ目は外への通信です。手元で動かしていても、検索や外部の道具、クラウド版を使えばデータは外に出ます。[s10][s11]3つ目は賢さと手間です。小さいモデルや強く丸めた版は難しい仕事が苦手になりやすく、モデルの更新や管理も自分の仕事になります。[s7]

今日からできること

# 16GB前後のパソコン
ollama run qwen3.5:9b
ollama run gpt-oss:20b
# 32GB前後のパソコン
ollama run qwen3.6:35b-a3b

まずは自分のパソコンのメモリが何GBかを確かめ、OllamaやLM Studioで小さいモデルを動かしてみましょう。[s10]Ollamaなら、インストール後に1行のコマンドを打つだけで、ダウンロードしたモデルが手元で動きます。小さいモデルほど軽く、速く動きます。[s10]

検索や外部の道具をつなぐときは、データがどこに送られるかを確かめ、仕事で使う場合はライセンスを読んでおくことも忘れないようにしましょう。

まとめ

ローカルLLMは、AIを手元で動かすことで、入力を外部に出さずに済む方法です。GLM-5.3の重みは約756GBあり、MoEで1回の計算は軽くても、メモリには全体を置く必要があります。[s2]量子化で小さくすることはできますが、元のモデルとは答えが少しずつ変わります。[s7]

家庭や小さなお店では小さいモデルを手元で使い、GLM-5.3の力が必要な仕事は、まず送ってよいデータでAPIから試す。この組み合わせが、費用と安心のバランスがとれた始め方です。