NPUでLLM（opt-1.3b）のデモプロを動かすことができたので、今回はLlama2-7Bにチャレンジしてみた。結果的に動かすことはできたが、期待していた結果とは少し違っていた。導入手順とその中で気付いたことをここにまとめておきたい。 Copilotに頼んだらDALL E…

Ryzen AI Software version1.1 がリリースされた。リリース情報を良く読んでみると、version0.8の時点で既に「opt-1.3b」というLLMのデモプロが公開されていたことが分かった。「Llama2 7b」は難易度が高そうだったので、手始めにこのLLMのデモプロから試す…

Ryzen AI Software version1.1 がリリースされ、Llama2 7Bが機能追加された（情報はこちら）。70億パラメタのLLMをUM790 ProのNPUで動かすことができるらしい。 最終的にはLlama2をNPUで動かすことが私の目標であるが、いきなりはハードルが高い。今回はNPU…

前回ブログに書いた「UM790 ProのNPUデバイス認識に成功」の続報である。Ryzen AI Softwareの導入になんとか成功し、テストプログラムを動作させることができた。いくつか注意すべき点があったのでここにまとめておきたい。 導入の準備 Visual Studio cmake …

昨日のAMD Ryzen AIの続報である。タイトルに書いたように、無事にWindows11環境でNPUデバイスを認識できた。今日はNPUデバイスを認識させるまでの手順を報告する。Ryzen AI Softwareの導入についてはまだ作業中のため、報告は次回以降になりそうだ。 IPUド…

はてなの検索機能は分かりにくい。ようやく検索ページを見つけて「UM790 Pro」と入力し、はてなの中の「UM790 Pro」の情報を検索してみた。自分のページも出てくるかと見ていたら下記の「AMD Ryzen AI」と書かれたページに目が止まった。 vengineer.hatenabl…

UM790 Proで最新のUbuntu環境に、最新のAMDGPUドライバをインストールすることでMNISTが動作することを確認したので報告したい。 Ubuntu+amdgpu+docker環境での動作確認 Ubuntu22.04LTS amdgpuがサポートされるOSはLinuxのみである。私は使い慣れているUbunt…

MINISFORUM UM790 Proを注文した後、AMDもROCmというソフト（NVIDIAのCUDAに該当するもの）を提供していることを知った。このAMD ROCmを使うことで、UM790 Proで動作が期待できるAI関連ソフトについて書きたい。 ROCmでMNIST ROCｍについて正確に知りたい方…