mmngaさんのHugginfaceのページにLlama3-8Bの日本語強化学習モデル lightblue-suzume-llama-3-8B-japanese-gguf があったので試してみた。8Bは70Bに比べると能力的に劣るであろうことは分かっているが、日本語の能力とUM790 Proで動かした時の応答速度を確認…

Janの最新バージョンv0.4.12が本日リリースされた。Llama3とCommand R+をサポートするようになったらしい。ダウンロードしてみたところ、GroqでLlama3の70Bが使えるようになっていた。GroqはOpenAIのようにAPIを通してサービスを提供しており、LPU（Language…

1000ドルPCでLlama3を動かしてみた。LM Studioのv0.2.20からLlama3がサポートされている。この最新バージョンにしたところ、内蔵GPUの780MでLLMを動かすことができることも分かったのでその点についても簡単にまとめておきたい。 LM Studio for Windows のGP…

LM Studioに導入したLLM（Command-R 350億パラメタ）に、星新一の文体でショートショートを書いてもらった。 昭和のSF小説家、恋愛をテーマにCopilotに頼んだらDALL E3が描いてくれました 依頼テーマ Command-Rには以下のように依頼した。 星新一の文体でSF…

LM Studioに導入したCommand-R（350億パラメタのLLM）は文章を書くのが得意なようだ。星新一のショートショートのようなSF短編小説を書いてくれるとうれしいのだが、まだ書かせ方がよく分からない。今回は練習を兼ねて雑談ネタとしてCommannd-Rにサラリーマ…

Command-Rという35B（350億パラメタ）のLLM（大規模言語モデル）を1000ドルPCで動かしてみた。 GPT-4やClaude-3並の性能があるのではと言われている、Command-R＋(Plus)という104B（1,040億パラメタ）のLLMも公開されている。これはMac Studioの128GBメモリ…

以前の記事で70億パラメタのLLM（大規模言語モデル）にディベート形式で議論させてみたが、全くディベートにならなかった。今回は700億パラメタのLLMでディベートをさせて見た。専門家としてリフレ派高橋洋一氏と反リフレ派藤巻健史氏を招いて議論を行う。テ…

StableDiffusion XL（以下SDXL）をUM790 Proに導入した。自分のイメージ通りの絵を描きたいと思ったからだ。なんとかSDXLの導入まではしたものの、イメージ通りの絵を描くところまでには至っていない。とりあえずこの一週間で行った作業と、SDXLで描いた絵を…

1000ドルPC上で70億パラメタのLLMを動かしてみると、LLMは算数の問題が意外と得意ではないことが分かる。JanがダウンロードできるLLMには700億パラメタのLLMも複数あるので、700億パラメタにすると算数の問題が解けるようになるのか試してみた。また70億パラ…

StableDiffusionをUM790 Proで動かすことはできたのだが、全く活用できていなかった。イメージ通りの絵が描けないからだ。しかし偶然、あるWebサイトを見つけ、そこでなら自分のイメージに近い絵を描けることが分かった。 SDXL-Lightning- Text To Image 2-S…

Janの中にLocal API Serverという機能があるのは知っていた。しかしどう使うのか、それを使うと何ができるのか分かっていなかった。YoutubeにあるJanの紹介動画を見ていたら、このLocal API Serverの使い方を説明していた。要するにPythonからWeb APIに従っ…

Janでは開発やサポート用のプラットホームとしてDiscordというコミュニケーションサービスを使っている。JanをAMDのGPUで動かせないものかと先日Discordを眺めていたら以下の情報を見つけた。 Discord 現在、マルチ GPU サポートは NVIDIA GPU でのみ利用可…

デスクトップで簡単に生成AIを動かせるソフトJanの紹介の続きである。もともとJanを導入したのは、生成AIとチャットでやり取りしながらコーディングなどの成果物が作れないかと思ったことがきっかけだった。一問一答ではなく、それまでの文脈を理解したやり…

デスクトップで簡単に生成AIを動かせるソフトJanの紹介の続きである。Janで使用できる生成AIの中にPythonのコーディングが得意そうなモデルがあったので試してみることにした。お題としては繰り返しとなって恐縮だが株価の成長率を求めるスクリプトを頼むこ…

1000ドルPC（MINISFORUM UM790 Pro）に生成AIをデスクトップで動かすソフトJanを導入した。今回はJanに用意されていない生成AIを追加導入する方法を紹介したい。 JanはGGUF形式に量子化されたモデルを使用するので、追加できる生成AIは量子化モデルが公開さ…

LLM（大規模言語モデル）をWindowsのデスクトップから簡単に使えるようにしてくれるソフトがJanである。GPUを使う場合はNVIDIAのGPUが前提となっているが、ない場合にはCPUで動かすことができる。 Janを導入することでローカルPCでも快適にLLMが使えるように…

UM790 ProのiGPU(Radeon 780M)でStableDiffusionを動かすことができた。今回導入した環境はWindows+DirectMLである。かなり苦労したので導入手順についてここにまとめておきたい。またUbuntu＋ROCｍ環境との性能比、Windows+CPU動作時の性能比もメモしておく…

はてなの検索機能は分かりにくい。ようやく検索ページを見つけて「UM790 Pro」と入力し、はてなの中の「UM790 Pro」の情報を検索してみた。自分のページも出てくるかと見ていたら下記の「AMD Ryzen AI」と書かれたページに目が止まった。 vengineer.hatenabl…

毎週日曜日にシェアオフィスに出かけ、rinnaとチャットデートするのが私の密かな楽しみになっている。rinnaは36億パラメタのGPT言語モデルで、チャットでおしゃべりしてくれるAIである。rinnaの動作環境を知りたい方は前回の記事を見ていただきたい。今回は…

rinna-3.6bは日本語に特化した36億パラメタのGPT言語モデルである。CPUのみで動作させることができた。ほぼ満足できる応答速度で大変面白い結果が得られた。この面白さを記事を読んでくれる方にお伝えしたい。 rinnaとは 実行環境JupyterLabの導入 rinna-3.6…

1000ドルPCで日本語対応の大規模言語モデルのELYZAを動かしてみた。使用したモデルは70億パラメタの8bit量子化版である。モデルを動作させるプラットフォームは先日の記事で紹介したllama2.cppを使用する。この記事では環境を紹介し忘れていたが、WSL2（Wind…

大規模言語モデル（LLM）をGPUを使って動かそうとすると、大量のメモリを使うため我が1000ドルPCの8GBのVRAMでは動かない可能性が高い。そこでまずはCPUのみで動くプラットフォームllama2.cppを試してみた。 llama2.cppとは llama2.cppはCPUでLlama2を動かす…

MINI PC(MINISFORUM UM790 Pro)でStable Diffussion WebUIを動かしてみたので、導入手順と動かした感想をここにまとめておきたい。 前提条件 インストールする前にMNISTサンプルプログラムが動作していること、つまり、amdgpuドライバのインストール、ROCm対…

MINISFORUM UM790 Proを注文した後、AMDもROCmというソフト（NVIDIAのCUDAに該当するもの）を提供していることを知った。このAMD ROCmを使うことで、UM790 Proで動作が期待できるAI関連ソフトについて書きたい。 ROCmでMNIST ROCｍについて正確に知りたい方…