GroqのLPUでLlama3-70Bを動かし、その爆速ぶりを経験した。この機会にLPUの性能を1000ドルあたりに換算した性能（コストパフォーマンス）がどの程度なのかを調べてみた。1000ドルに換算したPCの性能は、シンギュラリティの到来時期を予測する上で重要なデー…

高速GPUボードを持っている人であれば、これでビットコインをマイニングして小遣い稼ぎをしたいと一度は考えるのではないか。私もPCの購入を検討していた昨年に、高速なNVIDIAのGPUを持つPCであればマイニングの採算が取れるのではと考えた時期があった。し…

UM790 Proは週末にシェアオフィスで使い、自宅ではMac miniで作業していた。しかし自宅でもUM790 Proを使いたいと思うようになった。UM790 Pro自体は軽いので持ち運べるのだが、ACアダプタは思いので持ち帰りたくない。幸いUM790 ProはUSB-CのPD（給電）に対…

前回ブログに書いた「UM790 ProのNPUデバイス認識に成功」の続報である。Ryzen AI Softwareの導入になんとか成功し、テストプログラムを動作させることができた。いくつか注意すべき点があったのでここにまとめておきたい。 導入の準備 Visual Studio cmake …

昨日のAMD Ryzen AIの続報である。タイトルに書いたように、無事にWindows11環境でNPUデバイスを認識できた。今日はNPUデバイスを認識させるまでの手順を報告する。Ryzen AI Softwareの導入についてはまだ作業中のため、報告は次回以降になりそうだ。 IPUド…

はてなの検索機能は分かりにくい。ようやく検索ページを見つけて「UM790 Pro」と入力し、はてなの中の「UM790 Pro」の情報を検索してみた。自分のページも出てくるかと見ていたら下記の「AMD Ryzen AI」と書かれたページに目が止まった。 vengineer.hatenabl…

rinna-3.6bは日本語に特化した36億パラメタのGPT言語モデルである。CPUのみで動作させることができた。ほぼ満足できる応答速度で大変面白い結果が得られた。この面白さを記事を読んでくれる方にお伝えしたい。 rinnaとは 実行環境JupyterLabの導入 rinna-3.6…

dlshogiを1000ドルPCで動かし、その後確認できたことが幾つかあるので報告したい。 python-dlshogi2(GPUで動作） GPU利用状況の確認 GPU利用プロセスの表示 NPS（１秒あたりの探索ノード数） 将棋GUIの設定パラメタ 将棋所のパラメタ設定 ShogiGUIのパラメタ…

大規模言語モデル（LLM）をGPUを使って動かそうとすると、大量のメモリを使うため我が1000ドルPCの8GBのVRAMでは動かない可能性が高い。そこでまずはCPUのみで動くプラットフォームllama2.cppを試してみた。 llama2.cppとは llama2.cppはCPUでLlama2を動かす…

1000ドルあたりのPCの能力進化の歴史をグラフにプロットするとどうなるか。レイ・カーツワイル氏が作成したグラフが下記の図である。このグラフは彼の著書「シンギュラリティは近い」に掲載されており、このグラフをベースに彼はシンギュラリティの期日を204…

約１０年ぶりにPCを購入したので、その経緯と選定理由について書きたい。 経緯 これまで私が使用してきたマシンはMac mini（Late2012）である。このMac miniはインテル系CPU（i5-3210M 2.5GHzデュアルコア）でGPUもなくメモリは４GBしか積んでいない。こいつ…