AIに関する記事を読んでいると「進化的アルゴリズム」という言葉をよく見かける。また似たような言葉で「進化的プログラミング（または遺伝的プログラミング）」というのも見かける。それぞれどのような概念で、どのような違いがあるのか。私は全く分かって…

Tanuki-8x8Bのオリジナル版のモデルサイズは94～95GBくらいある。このサイズになると通常のPCクラスでは動かすことができない。そこでColab ProのようなクラウドのGPUを借りることになる。しかしワークステーションと呼ばれるクラスのマシンを購入すればロー…

RyzenAIのNPUについて調べていたら、Running LLama 3 on the NPU of a first-generation AMD Ryzen AI-enabled CPU（第一世代AMD Ryzen AI対応CPUのNPU上で LLama3を実行する）という記事をアメリカの掲示板サイトRedditの中に見つけた。Llama3-8Bの量子化モ…

NPUでLLM（opt-1.3b）のデモプロを動かすことができたので、今回はLlama2-7Bにチャレンジしてみた。結果的に動かすことはできたが、期待していた結果とは少し違っていた。導入手順とその中で気付いたことをここにまとめておきたい。 Copilotに頼んだらDALL E…

Ryzen AI Software version1.1 がリリースされた。リリース情報を良く読んでみると、version0.8の時点で既に「opt-1.3b」というLLMのデモプロが公開されていたことが分かった。「Llama2 7b」は難易度が高そうだったので、手始めにこのLLMのデモプロから試す…

Ryzen AI Software version1.1 がリリースされ、Llama2 7Bが機能追加された（情報はこちら）。70億パラメタのLLMをUM790 ProのNPUで動かすことができるらしい。 最終的にはLlama2をNPUで動かすことが私の目標であるが、いきなりはハードルが高い。今回はNPU…

前回ブログに書いた「UM790 ProのNPUデバイス認識に成功」の続報である。Ryzen AI Softwareの導入になんとか成功し、テストプログラムを動作させることができた。いくつか注意すべき点があったのでここにまとめておきたい。 導入の準備 Visual Studio cmake …

昨日のAMD Ryzen AIの続報である。タイトルに書いたように、無事にWindows11環境でNPUデバイスを認識できた。今日はNPUデバイスを認識させるまでの手順を報告する。Ryzen AI Softwareの導入についてはまだ作業中のため、報告は次回以降になりそうだ。 IPUド…

はてなの検索機能は分かりにくい。ようやく検索ページを見つけて「UM790 Pro」と入力し、はてなの中の「UM790 Pro」の情報を検索してみた。自分のページも出てくるかと見ていたら下記の「AMD Ryzen AI」と書かれたページに目が止まった。 vengineer.hatenabl…

UM790 Proで最新のUbuntu環境に、最新のAMDGPUドライバをインストールすることでMNISTが動作することを確認したので報告したい。 Ubuntu+amdgpu+docker環境での動作確認 Ubuntu22.04LTS amdgpuがサポートされるOSはLinuxのみである。私は使い慣れているUbunt…

MINISFORUM UM790 Proを注文した後、AMDもROCmというソフト（NVIDIAのCUDAに該当するもの）を提供していることを知った。このAMD ROCmを使うことで、UM790 Proで動作が期待できるAI関連ソフトについて書きたい。 ROCmでMNIST ROCｍについて正確に知りたい方…