Bonsai27b(https://huggingface.co/prism-ml/Ternary-Bonsai-27B-gguf)というモデルを紹介します。Qwen 3.6 27bモデルを三元(ternary)モデルに変換したモデルで、サイズはわずか2~8ギガバイトしかありません。それでもベンチマーク上では性能はなかなか良いようです。
ただし、これには少し特別なllama.cppが必要です。
フォーマット | llama.cppバージョン | 状態 |
|---|
1-bit (Q1_0) | アップストリーム lama.cpp (最新) | ✅ 通常ビルドで動作 |
Ternary (Q2_0) | PrismMLフォーク (prism ブランチ) | ❌ 通常ビルドは不可 |
Ternaryを動かす方法
# PrismMLフォークのprismブランチを使用
git clone -b prism https://github.com/PrismML-Eng/llama.cpp
cd llama.cpp
cmake -B build -DCMAKE_BUILD_TYPE=Release -DGGML_CUDA=ON # または -DGGML_METAL=ON
cmake --build build -j
なぜ必要なのか？
Ternaryは{-1, 0, +1} 3つの値をQ2_0_g128形式でエンコードしますが、標準のllama.cppにはこのカーネルがありません。PrismMLがカスタム2ビットハイブリッドアテンションカーネルを直接作成し、 prismブランチに追加しました。
バイナリも提供
ビルドが面倒な場合は、PrismML llama.cppリリースからmacOS/Linux/Windowsの事前ビルドを取得できます。
ソース: llama.cpp Docs · Ternary-Bonsai-8B-gguf · Ternary-Bonsai-27B-gguf
