AIモデルを小型化するために使われる量子化技術の開発も着々と進んでいる。Unslothは8月19日(米国時間)、新しい量子化技術「Dynamic v3.0」を発表し、これを適用したモデル「Qwen3.8-27B」のDynamic v3.0量子化版の提供を開始した。今回のリリースは、先行公開していた早期プレビュー版を更新したものとなる。Dynamic v3.0に対応したGGUFはllama.cppやUnsloth Desktopを含むほとんどの推論エンジンで利用可能となっている。

　Dynamic v3.0を採用する利点は精度の向上だ。Qwen3.8-27Bは8月15日に提供開始されたAIモデルで、Unslothが量子化したバージョンはわずか5日間で510万ダウンロードを記録した。今回採用されたDynamic v3.0は前世代のv2.0から量子化手法を大幅に改良することで、v3.0を採用したQwen3.8-27Bは、ほかのプロバイダーと比較して上位1%の精度が10%以上向上したという。

これを実現した要素の1つが、学習後量子化(Post-Training Quantization)に用いるキャリブレーションデータセット「imatrix」の品質向上だ。このデータセットは、エージェントコーディング、チャット、多言語対応のパフォーマンスに最適化されている。また、レイヤー選択の改善やさまざまな量子化手法を取り入れることで、モデルサイズを抑えながら精度低下を最小限に留めた。

　今回提供されるモデルのうち注目の1つは2bit量子化された「UD-Q2_K_XL」。容量は約9.83GB。従来崩れがちだったHTMLプログラムの生成において、小さなJSバグ1つがあるだけで動作するHTMLプログラムを作成できたという。なお、8.37GB以下の小型モデルからはMTPモジュールを省くことで、500MBほどのディスク容量を削減した。

　さらに小型のUD-1bit量子化モデルも作成しており、MTPなしの「UD-IQ1_S」の容量はわずか6.2GBだ。上位1%の精度を約72%維持しながら、オリジナルからサイズを89%も削減している。

　もっとも、1bitはエージェント用途には向かないとも警告している。32トークンの予測において、UD-Q2_K_XLからUD-IQ2_Sに変わっただけで精度が約25%から8〜10%未満へと急激に低下することが分かった。UD-Q2_K_XL未満の量子化モデルはループが多く発生するため、presence_penalty=1.5以上の設定が必要。加えて、1bit量子化モデルは思考レベルを少なくとも「低」にしないと空の出力になる可能性がある。ツール呼び出しも失敗するとしている。一方、一般知識は保持されるため、ごく短い事実確認の質問であれば利用できるという。
https://pc.watch.impress.co.jp/docs/news/2134411.html

>小さなJSバグ1つがあるだけ
うーん

Bonsaiみたいなもんか？

HBFにモデルの重みを追い出すまではこういう技術が必要

1bit LLMはハルシネーションが多くなるとのこと

低bitはしてはいけない
精々6bitまで

VRAM16GBのビデオカードで動かせそう。ローカルLLM試してみようかな。

こういうのは100%期待外れ
NVIDIA、CUDA環境ですら使い物にならん

使ってみるか

thinking 部分が見える奴はプロンプトがどう解釈されてるのかがよくわかる
オンラインのやつでもわかるのがあるが
ローカルなら遅い方がその解釈にも付き合って解釈の解釈をしながらやるのが吉だ

回答を得るだけが時間の使い方じゃないよ

最終的にはローカルLLMとe-GPUが爆売れすると思う
内製化がコスパ最強

>>23
売れない

確実にきてるんじゃない
前からあるだけ
オタクの趣味

手元のマシンの性能が上がるならネットの企業はさらに先をいくもんだ
なぜならビジネスだからだ
ローカルローカル言ってる奴はバカだな
ローカルだけが変わってるわけじゃない

>>28
ローカルでやってるのはセキュリティやコストの問題で
誰も性能が上回るなんて考えてないぞ

>>30
それとネットワーク使って人工知能システムつかうとルーターが追いつかない

>>26
確認したらホントだった
とはいえ弱小企業ならまだしも
普通の会社でコレ1個あったところで
どうにもならん
再学習しないという規約信じて
各社の契約したほうが遥かにマシ

lm studioではつかえないの？