シンギュラリティ実験ノート

購入した1000ドルPCで何がどこまでできるのか実験した記録です。

2024-04-21から1日間の記事一覧

UM790 ProのNPUでLLM(Llama2-7B)を動かしてみた

NPUでLLM(opt-1.3b)のデモプロを動かすことができたので、今回はLlama2-7Bにチャレンジしてみた。結果的に動かすことはできたが、期待していた結果とは少し違っていた。導入手順とその中で気付いたことをここにまとめておきたい。 Copilotに頼んだらDALL E…

UM790 ProのNPUでLLM(opt-1.3b)を動かしてみた

Ryzen AI Software version1.1 がリリースされた。リリース情報を良く読んでみると、version0.8の時点で既に「opt-1.3b」というLLMのデモプロが公開されていたことが分かった。「Llama2 7b」は難易度が高そうだったので、手始めにこのLLMのデモプロから試す…