2026-08-29から1日間の記事一覧
我が1000ドルPC(UM-790-Pro)でQwen3.8-27Bの4ビット量子化版(以下Qwen3.8)を動かすと生成速度は1.6トークン/秒しか出ていなかった。 llama-serverの起動パラメタを見直した結果、3.0トークン/秒まで改善できた。どのようなパラメタの見直しが有効であった…
我が1000ドルPC(UM-790-Pro)でQwen3.8-27Bの4ビット量子化版(以下Qwen3.8)を動かすと生成速度は1.6トークン/秒しか出ていなかった。 llama-serverの起動パラメタを見直した結果、3.0トークン/秒まで改善できた。どのようなパラメタの見直しが有効であった…