mmngaさんのHugginfaceのページにLlama3-8Bの日本語強化学習モデル lightblue-suzume-llama-3-8B-japanese-gguf があったので試してみた。8Bは70Bに比べると能力的に劣るであろうことは分かっているが、日本語の能力とUM790 Proで動かした時の応答速度を確認…

Janの最新バージョンv0.4.12が本日リリースされた。Llama3とCommand R+をサポートするようになったらしい。ダウンロードしてみたところ、GroqでLlama3の70Bが使えるようになっていた。GroqはOpenAIのようにAPIを通してサービスを提供しており、LPU（Language…

1000ドルPCでLlama3を動かしてみた。LM Studioのv0.2.20からLlama3がサポートされている。この最新バージョンにしたところ、内蔵GPUの780MでLLMを動かすことができることも分かったのでその点についても簡単にまとめておきたい。 LM Studio for Windows のGP…

NPUでLLM（opt-1.3b）のデモプロを動かすことができたので、今回はLlama2-7Bにチャレンジしてみた。結果的に動かすことはできたが、期待していた結果とは少し違っていた。導入手順とその中で気付いたことをここにまとめておきたい。 Copilotに頼んだらDALL E…

Ryzen AI Software version1.1 がリリースされた。リリース情報を良く読んでみると、version0.8の時点で既に「opt-1.3b」というLLMのデモプロが公開されていたことが分かった。「Llama2 7b」は難易度が高そうだったので、手始めにこのLLMのデモプロから試す…

Ryzen AI Software version1.1 がリリースされ、Llama2 7Bが機能追加された（情報はこちら）。70億パラメタのLLMをUM790 ProのNPUで動かすことができるらしい。 最終的にはLlama2をNPUで動かすことが私の目標であるが、いきなりはハードルが高い。今回はNPU…

LM Studioに導入したLLM（Command-R 350億パラメタ）に、星新一の文体でショートショートを書いてもらった。 昭和のSF小説家、恋愛をテーマにCopilotに頼んだらDALL E3が描いてくれました 依頼テーマ Command-Rには以下のように依頼した。 星新一の文体でSF…

LM Studioに導入したCommand-R（350億パラメタのLLM）は文章を書くのが得意なようだ。星新一のショートショートのようなSF短編小説を書いてくれるとうれしいのだが、まだ書かせ方がよく分からない。今回は練習を兼ねて雑談ネタとしてCommannd-Rにサラリーマ…

Command-Rという35B（350億パラメタ）のLLM（大規模言語モデル）を1000ドルPCで動かしてみた。 GPT-4やClaude-3並の性能があるのではと言われている、Command-R＋(Plus)という104B（1,040億パラメタ）のLLMも公開されている。これはMac Studioの128GBメモリ…

以前の記事で70億パラメタのLLM（大規模言語モデル）にディベート形式で議論させてみたが、全くディベートにならなかった。今回は700億パラメタのLLMでディベートをさせて見た。専門家としてリフレ派高橋洋一氏と反リフレ派藤巻健史氏を招いて議論を行う。テ…

高速GPUボードを持っている人であれば、これでビットコインをマイニングして小遣い稼ぎをしたいと一度は考えるのではないか。私もPCの購入を検討していた昨年に、高速なNVIDIAのGPUを持つPCであればマイニングの採算が取れるのではと考えた時期があった。し…