Macで1.5TB超のLLMが動く時代へ：OrcaRouter「GLM-5.3-MLX」が示すAI開発の新たな地平

主なポイント

• 総パラメータ約743B・アクティブ40Bのフルモデル「GLM-5.3」を、Apple Silicon向けに最適化しています。

• 独自量子化手法「OrcaSAQ」により、FP8時点の約1.51TBから2-bit版で約322GBへと、約79%の小型化を達成しました。

• 2-bit版でも約80.2%の精度を維持することが開発元によって検証されています。

• 2-bitから6-bitまでの4つのバリアントが提供されており、512GBメモリ搭載Mac（M3 Ultra）では2-bitから4-bitまでをローカルで実行できます。

• 6-bit版はFP8に対しコサイン類似度0.9997以上という高い品質を保っています。6-bit版の実行には、2台の512GB Macを分散構成（mlx.distributed）で接続するか、8基のNVIDIA H200が必要とされています。

• 本モデルはHugging Face上で公開されており、UnslothからもGGUF版が提供されています。API経由ではフル精度のまま利用可能です。

開発の背景

大規模言語モデル（LLM）のローカル実行は、データの外部送信が不要であることや、レイテンシーの低さから、開発者や企業の間で関心が高まっています。しかし、最先端のオープンウェイトモデルは通常、数百GB規模のメモリを必要とするため、多くの開発者が日常的に利用するデバイスでの実行は困難でした。

この課題に対し、OrcaRouterはモデルを圧縮しつつ性能を維持する量子化技術の開発を進めてきました。その成果の一つが、独自量子化手法「OrcaSAQ」です。この手法はキャリブレーション用データを必要とせず、モデルの構造に応じて精度保持に重要なテンソルを高精度に保つ混合精度量子化方式であり、性能とメモリ使用量のバランスを高い水準で両立させます。

GLM-5.3-MLXについて

「GLM-5.3」は、Z.ai社のフラッグシップとなるオープンウェイトLLMです。総パラメータ約743B・アクティブ40BのMoE（Mixture of Experts）構成を持ち、1Mトークン（100万トークン）のコンテキストに対応しています。

「GLM-5.3-MLX」は、このフルモデルをApple Silicon向けに最適化したネイティブMLX版で、「OrcaSAQ」により「2-bit」「3-bit」「4-bit」「6-bit」の4つのバリアントが提供されています。最も圧縮率の高い2-bit版では、FP8時点の約1.51TBから約322GB（約79%削減）まで小型化しつつ、約80.2%の精度を維持するという検証結果が得られています。

実行環境に関して、512GBメモリを搭載するMac（M3 Ultra）では、2-bitおよび3-bit版は快適に、4-bit版はフィットする構成でローカル実行が可能です。最上位の6-bit版は、2台の512GB Macをmlx.distributedで接続する分散実行や、8基のNVIDIA H200での実行が想定されています。8-bit版は提供されていませんが、これは6-bit版がFP8に対しコサイン類似度0.9997以上を達成しており、8-bit化するとエキスパートウェイトがFP8のソースウェイトより大きくなるためです。

本モデルはHugging Faceにて公開されており、量子化の強度を用途と実行環境に応じて選択できます。また、UnslothによるGGUF版も提供されており、llama.cppなどGGUF対応の実行環境でも利用可能です。ローカル実行が難しい環境では、OrcaRouterのAPIからGLM-5.3のモデルページを経由してフル精度のまま利用できます。

• Hugging Face: orcarouter/GLM-5.3-MLX

• Unsloth GGUF版: https://huggingface.co/unsloth/GLM-5.3-GGUF

• OrcaRouterのAPIからのGLM-5.3モデルページ: https://www.orcarouter.ai/ja/models/z-ai/glm-5.3

今後の展望

OrcaRouterは今後も、大規模モデルを身近なデバイスで活用できるようにする量子化技術の研究開発と、モデルカタログの拡充を進めていく方針です。

OrcaRouterについて

OrcaRouterは、米国のAI研究機関Continuum AIが開発し、FlashLabs株式会社が日本市場向けに独占提供するAI推論ゲートウェイです。OpenAI互換のAPIを備え、Anthropic、OpenAI、Google Gemini、DeepSeek、Grok、Qwenなど200以上のLLM・生成AIモデルを単一のゲートウェイから利用できます。

• OrcaRouter: https://www.orcarouter.ai/ja

• AIモデル一覧: https://www.orcarouter.ai/ja/models

会社概要

FlashLabs株式会社

• 本社所在地：東京都千代田区一番町10番8号

• 代表取締役：細井洋一

• 設立：2023年7月

• 事業内容：AI応用研究所（Human-AI Hybridで営業・CXの自動化・自律化。OSS音声モデルChromaの開発元）

• URL：https://www.flashlabs.ai/

Continuum AI

• 「次の10年の知能システムを支える基盤インフラを開発する研究機関（米国）」

• OrcaRouterの開発・提供

• URL：https://www.continuum01.ai/

AI Workstyle Lab編集部コメント

今回の「GLM-5.3-MLX」の登場は、大規模言語モデルのローカル実行における技術的障壁を大きく引き下げるものです。特に注目すべきは、独自量子化手法「OrcaSAQ」による約79%のモデル小型化と、その高い精度維持率です。これにより、これまで高性能なサーバー環境でしか扱えなかった1.5TB級のモデルが、M3 Ultra搭載Macのような一般的なデバイスで利用可能になります。これは、AI開発の民主化を加速させ、より多くの開発者や企業が、データのプライバシーを保護しつつ、低レイテンシーで高度なAIを自社環境で活用できる未来を示唆しています。今後は、さらに多様なモデルへの適用と、エッジデバイスでの実行可能性が技術進化の焦点となるでしょう。

生成AI学習に取り残されないために…
ChatGPTなどの生成AIを使いこなして、仕事・収入・時間の安定につながるスキルを身につけませんか？

AI Workstyle LabのAIニュースをチェックしているあなたは、すでに一歩リードしている側です。あとは、 実務で使える生成AIスキルを身につければ、「知っている」から「成果を出せる」状態へ一気に飛べます。

PR｜生成AIスクール

🧠 実践型 生成AIスクール「スタートAI」

講師：栗須俊勝（AI総研）
30社以上にAI研修・業務効率化支援を提供。“大阪の生成AIハカセ”として企業DXを牽引しています。

• 日々の業務を30〜70％時短する、実務直結の生成AI活用法を体系的に学べる
• 副業・本業どちらにも活かせる、AI時代の「稼ぐためのスキルセット」を習得
• 文章・画像・資料作成など、仕事も趣味もラクになる汎用的なAIスキルが身につく

ニュースを読むだけで終わらせず、
「明日から成果が変わるAIスキル」を一緒に身につけましょう。

無料セミナーに今すぐ参加する 編集部レビューを見る