シンギュラリティ実験ノート

購入した1000ドルPCで何がどこまでできるのか実験した記録です。

2026-08-29から1日間の記事一覧

Qwen3.8-27Bの生成速度を早くするテクニック

我が1000ドルPC(UM-790-Pro)でQwen3.8-27Bの4ビット量子化版(以下Qwen3.8)を動かすと生成速度は1.6トークン/秒しか出ていなかった。 llama-serverの起動パラメタを見直した結果、3.0トークン/秒まで改善できた。どのようなパラメタの見直しが有効であった…