UM790 ProにRyzen AI Softwareのバージョン１．３を再導入し、quicktestの確認までできたたので手順をここにメモしておきたい。 導入の準備 Ryzen AI Softwareの導入方法は下記のページにある。 Installation Instructions — Ryzen AI Software 1.3 document…

ブロク読者の方から最新のBIOSにアップデートするとUM70 Proも16GBまでVRAMが使えるようになることを教えて頂いた。MINISFORUMのHPを確認すると、最新のV1.09の提供日付は「2023年11月20日」となっていた。私がこのUM790 Proを購入したのは去年の12月なので…

新しいMac miniが予約開始となった。ミニPC好きの私としてはこの新Mac miniでLLMを動かした場合の性能に興味がある。新Mac miniのM4 Proで８Bクラスおよび７０BクラスのLLMを動かした場合の性能を見積もり、我が1000ドルPCと比較してみたい。 Mac mini M4 Pr…

MicrosoftからBitNetのLlama 8B版が公開された。CPUのみで爆速で動くことが特徴。GPUが不要なので省エネになるし、モバイル端末でも使えるようになることが期待できるらしい。我が１０００ドルPCでも動くのか試してみた。 導入方法 導入先環境はUbuntu 22.04…

Nvidiaが「Llama-3.1-Nemotron-70B-Instruct」（以下Nemotron-70B）を公開した。一部のベンチマークではOpenAIのGPT-4oやAnthropicのClaude 3.5 Sonnetを上回るらしいので、早速試してみることにした。 「ストロベリー問題」と言って、これまでGPT-4oやClaud…

増設SSDに作業環境をほぼ移行できたので、もともとのSSDにあったWindows11を再インストールすることにした（以下「インストール」を「導入」という）。最近は短い時間に何度もブルー画面が出るくらいWindows環境が不安定になっていた。 個人的に作成したメモ…

UbuntuにROCｍを導入するとGoogle Chromeが起動できなくなった。この問題の対応方法をメモしておきたい。 Chromeが動かなくてもFirefoxとか他のブラウザ使えばいいだろうと思われるかもしれないが、私はChromeのブックマークでWindowsやMacとブックマークを…

これまでUSB接続の2.5インチHDDにUbuntuを入れていたため、Ubuntuを立ち上げるだけで数分かかっていた。せっかくSSDを増設できる内臓スロットがあるのでSSDを増設し、ここにUbuntuでのLLM環境を構築することにした。 SSDの購入 Amazonで1TBのSSDを購入した。…

GPU性能は将棋AIの強さに影響する。dlshogiのようなDeepLearning系の将棋AIソフトに本来の強さを発揮させるには、最低でも20～30万円クラスのゲーミングPCの能力が必要と言われている。我が1000ドルPCでもdlshogiは内蔵GPU＋onnxruntime版で動いているのだが…

AIと言葉だけで遊ぶゲームができたら面白いと思う。前回、AI（Llama3.1-8B）と「しりとり遊び」をしてみたが、うまく続かなかった。「まんが」というと、AIの中では「MANGA」となり最後の１文字を「A」と認識するようだった。 しかしAIは人と会話した流れを…

AIが日本語音声応答してくれるPythonスクリプトを作成した。PythonのOpneAIライブラリを使うことでAIの処理と音声合成の処理を比較的簡単に並列処理させることができた。これにより、これまでのようにAIが回答し終わるまで待つことなく、回答し始めたら適切…

Llama3.1の軽量サイズ（80億パラメタ）を1000ドルPCで動かし、どの程度まともな会話ができるのかを実験してみた。ある程度の応答速度が得られるなら、ローカルPC上で音声認識ー＞AI推論ー＞音声合成まで行う会話アプリを実装したい、というのが私の野望だ。…

CPUとGPUの性能向上の歴史を綴る貴重な記事を見つけたのでメモしておきたい。PC Watchの以下の記事である。 GPUは過去30年間、CPUは過去50年間の性能向上グラフが掲載されている。本ブログにグラフを引用させていただくとともに、該当ページは個人利用のため…

先日の記事で高性能な1000ドルPCであれば、ハイエンドの性能は無理でも、PCVRがある程度動きそうだ、ということを書いた。そうは言ってもやはりハイエンドの性能が欲しいとなった場合にどのような選択肢があるか、調べたことをメモしておきたい。 なお、ここ…

VR（Virtual Reality）を私はまだ体験したことがない。VRを体験しようとすると、まずはVRヘッドセット（MetaのQuest3など）が必要になる。VRヘッドセット単体で動くアプリもあるが、よりリアルな体験をしようとすると高機能なPCとの接続も必要になってくる。…

以前の記事で紹介した「The Singularity Is Nearer: When We Merge with AI」の英語原本が、6月25日に発売開始となった。AmazonからKindle版をダウンロードしてKindleの翻訳機能に頼りながら少しづつ読んでいる。 本当は、生成AIに本のテキストデータを渡し…

The Singulality Is Near（邦題「シンギュラリティは近い」）の改訂版が出版されるらしい。英語版タイトルは、The Singularity Is Nearer: When We Merge with AI。つまり「シンギュラリティは近づいている：AIと融合する時」というところか。2023年の生成AI…

週末にシェアオフィスでWi-Fiを使用していると接続が切れてしまう現象がたまにあった。別のWi-Fiに繋ぎ直してなんとか使っていたが、とうとうどこにも繋がらなくなった。Ubuntuで使っている場合は問題ないのでおそらくWindows側の問題と思われる。ネットで調…

GroqのLPUでLlama3-70Bを動かし、その爆速ぶりを経験した。この機会にLPUの性能を1000ドルあたりに換算した性能（コストパフォーマンス）がどの程度なのかを調べてみた。1000ドルに換算したPCの性能は、シンギュラリティの到来時期を予測する上で重要なデー…

高速GPUボードを持っている人であれば、これでビットコインをマイニングして小遣い稼ぎをしたいと一度は考えるのではないか。私もPCの購入を検討していた昨年に、高速なNVIDIAのGPUを持つPCであればマイニングの採算が取れるのではと考えた時期があった。し…

UM790 Proは週末にシェアオフィスで使い、自宅ではMac miniで作業していた。しかし自宅でもUM790 Proを使いたいと思うようになった。UM790 Pro自体は軽いので持ち運べるのだが、ACアダプタは思いので持ち帰りたくない。幸いUM790 ProはUSB-CのPD（給電）に対…

前回ブログに書いた「UM790 ProのNPUデバイス認識に成功」の続報である。Ryzen AI Softwareの導入になんとか成功し、テストプログラムを動作させることができた。いくつか注意すべき点があったのでここにまとめておきたい。 導入の準備 Visual Studio cmake …

昨日のAMD Ryzen AIの続報である。タイトルに書いたように、無事にWindows11環境でNPUデバイスを認識できた。今日はNPUデバイスを認識させるまでの手順を報告する。Ryzen AI Softwareの導入についてはまだ作業中のため、報告は次回以降になりそうだ。 2024-1…

はてなの検索機能は分かりにくい。ようやく検索ページを見つけて「UM790 Pro」と入力し、はてなの中の「UM790 Pro」の情報を検索してみた。自分のページも出てくるかと見ていたら下記の「AMD Ryzen AI」と書かれたページに目が止まった。 vengineer.hatenabl…

rinna-3.6bは日本語に特化した36億パラメタのGPT言語モデルである。CPUのみで動作させることができた。ほぼ満足できる応答速度で大変面白い結果が得られた。この面白さを記事を読んでくれる方にお伝えしたい。 rinnaとは 実行環境JupyterLabの導入 rinna-3.6…

dlshogiを1000ドルPCで動かし、その後確認できたことが幾つかあるので報告したい。 python-dlshogi2(GPUで動作） GPU利用状況の確認 GPU利用プロセスの表示 NPS（１秒あたりの探索ノード数） 将棋GUIの設定パラメタ 将棋所のパラメタ設定 ShogiGUIのパラメタ…

大規模言語モデル（LLM）をGPUを使って動かそうとすると、大量のメモリを使うため我が1000ドルPCの8GBのVRAMでは動かない可能性が高い。そこでまずはCPUのみで動くプラットフォームllama2.cppを試してみた。 llama2.cppとは llama2.cppはCPUでLlama2を動かす…

1000ドルあたりのPCの能力進化の歴史をグラフにプロットするとどうなるか。レイ・カーツワイル氏が作成したグラフが下記の図である。このグラフは彼の著書「シンギュラリティは近い」に掲載されており、このグラフをベースに彼はシンギュラリティの期日を204…

約１０年ぶりにPCを購入したので、その経緯と選定理由について書きたい。 経緯 これまで私が使用してきたマシンはMac mini（Late2012）である。このMac miniはインテル系CPU（i5-3210M 2.5GHzデュアルコア）でGPUもなくメモリは４GBしか積んでいない。こいつ…