週刊文春（以下文春）が報じた内容について、松本人志（以下松本氏）が名誉毀損で文芸春秋と文春の編集長を訴え、5億5000万円の損害賠償を求めている裁判について少しだけ書いてみたい。 私は松本氏の特別なファンというわけでもないが、「人志松本の酒のつ…

GroqのLPUでLlama3-70Bを動かし、その爆速ぶりを経験した。この機会にLPUの性能を1000ドルあたりに換算した性能（コストパフォーマンス）がどの程度なのかを調べてみた。1000ドルに換算したPCの性能は、シンギュラリティの到来時期を予測する上で重要なデー…

mmngaさんのHugginfaceのページにLlama3-8Bの日本語強化学習モデル lightblue-suzume-llama-3-8B-japanese-gguf があったので試してみた。8Bは70Bに比べると能力的に劣るであろうことは分かっているが、日本語の能力とUM790 Proで動かした時の応答速度を確認…

Janの最新バージョンv0.4.12が本日リリースされた。Llama3とCommand R+をサポートするようになったらしい。ダウンロードしてみたところ、GroqでLlama3の70Bが使えるようになっていた。GroqはOpenAIのようにAPIを通してサービスを提供しており、LPU（Language…

1000ドルPCでLlama3を動かしてみた。LM Studioのv0.2.20からLlama3がサポートされている。この最新バージョンにしたところ、内蔵GPUの780MでLLMを動かすことができることも分かったのでその点についても簡単にまとめておきたい。 LM Studio for Windows のGP…

NPUでLLM（opt-1.3b）のデモプロを動かすことができたので、今回はLlama2-7Bにチャレンジしてみた。結果的に動かすことはできたが、期待していた結果とは少し違っていた。導入手順とその中で気付いたことをここにまとめておきたい。 Copilotに頼んだらDALL E…

Ryzen AI Software version1.1 がリリースされた。リリース情報を良く読んでみると、version0.8の時点で既に「opt-1.3b」というLLMのデモプロが公開されていたことが分かった。「Llama2 7b」は難易度が高そうだったので、手始めにこのLLMのデモプロから試す…

Ryzen AI Software version1.1 がリリースされ、Llama2 7Bが機能追加された（情報はこちら）。70億パラメタのLLMをUM790 ProのNPUで動かすことができるらしい。 最終的にはLlama2をNPUで動かすことが私の目標であるが、いきなりはハードルが高い。今回はNPU…

LM Studioに導入したLLM（Command-R 350億パラメタ）に、星新一の文体でショートショートを書いてもらった。 昭和のSF小説家、恋愛をテーマにCopilotに頼んだらDALL E3が描いてくれました 依頼テーマ Command-Rには以下のように依頼した。 星新一の文体でSF…

LM Studioに導入したCommand-R（350億パラメタのLLM）は文章を書くのが得意なようだ。星新一のショートショートのようなSF短編小説を書いてくれるとうれしいのだが、まだ書かせ方がよく分からない。今回は練習を兼ねて雑談ネタとしてCommannd-Rにサラリーマ…

Command-Rという35B（350億パラメタ）のLLM（大規模言語モデル）を1000ドルPCで動かしてみた。 GPT-4やClaude-3並の性能があるのではと言われている、Command-R＋(Plus)という104B（1,040億パラメタ）のLLMも公開されている。これはMac Studioの128GBメモリ…

以前の記事で70億パラメタのLLM（大規模言語モデル）にディベート形式で議論させてみたが、全くディベートにならなかった。今回は700億パラメタのLLMでディベートをさせて見た。専門家としてリフレ派高橋洋一氏と反リフレ派藤巻健史氏を招いて議論を行う。テ…

高速GPUボードを持っている人であれば、これでビットコインをマイニングして小遣い稼ぎをしたいと一度は考えるのではないか。私もPCの購入を検討していた昨年に、高速なNVIDIAのGPUを持つPCであればマイニングの採算が取れるのではと考えた時期があった。し…

StableDiffusion XL（以下SDXL）をUM790 Proに導入した。自分のイメージ通りの絵を描きたいと思ったからだ。なんとかSDXLの導入まではしたものの、イメージ通りの絵を描くところまでには至っていない。とりあえずこの一週間で行った作業と、SDXLで描いた絵を…

1000ドルPC上で70億パラメタのLLMを動かしてみると、LLMは算数の問題が意外と得意ではないことが分かる。JanがダウンロードできるLLMには700億パラメタのLLMも複数あるので、700億パラメタにすると算数の問題が解けるようになるのか試してみた。また70億パラ…

StableDiffusionをUM790 Proで動かすことはできたのだが、全く活用できていなかった。イメージ通りの絵が描けないからだ。しかし偶然、あるWebサイトを見つけ、そこでなら自分のイメージに近い絵を描けることが分かった。 SDXL-Lightning- Text To Image 2-S…

年寄りくさいテーマであるが年金について書いてみたい。私は自分が年金を受取る年になり、その仕組をようやく理解した。自分が若い頃は年金について少し興味はあったとしても、深く考えたことはなかった。それはそうだ。会社では仕事が忙しいし、家に帰れば…

Janの中にLocal API Serverという機能があるのは知っていた。しかしどう使うのか、それを使うと何ができるのか分かっていなかった。YoutubeにあるJanの紹介動画を見ていたら、このLocal API Serverの使い方を説明していた。要するにPythonからWeb APIに従っ…

Janでは開発やサポート用のプラットホームとしてDiscordというコミュニケーションサービスを使っている。JanをAMDのGPUで動かせないものかと先日Discordを眺めていたら以下の情報を見つけた。 Discord 現在、マルチ GPU サポートは NVIDIA GPU でのみ利用可…

デスクトップで簡単に生成AIを動かせるソフトJanの紹介の続きである。もともとJanを導入したのは、生成AIとチャットでやり取りしながらコーディングなどの成果物が作れないかと思ったことがきっかけだった。一問一答ではなく、それまでの文脈を理解したやり…

UM790 Proは週末にシェアオフィスで使い、自宅ではMac miniで作業していた。しかし自宅でもUM790 Proを使いたいと思うようになった。UM790 Pro自体は軽いので持ち運べるのだが、ACアダプタは思いので持ち帰りたくない。幸いUM790 ProはUSB-CのPD（給電）に対…

デスクトップで簡単に生成AIを動かせるソフトJanの紹介の続きである。Janで使用できる生成AIの中にPythonのコーディングが得意そうなモデルがあったので試してみることにした。お題としては繰り返しとなって恐縮だが株価の成長率を求めるスクリプトを頼むこ…

1000ドルPC（MINISFORUM UM790 Pro）に生成AIをデスクトップで動かすソフトJanを導入した。今回はJanに用意されていない生成AIを追加導入する方法を紹介したい。 JanはGGUF形式に量子化されたモデルを使用するので、追加できる生成AIは量子化モデルが公開さ…

LLM（大規模言語モデル）をWindowsのデスクトップから簡単に使えるようにしてくれるソフトがJanである。GPUを使う場合はNVIDIAのGPUが前提となっているが、ない場合にはCPUで動かすことができる。 Janを導入することでローカルPCでも快適にLLMが使えるように…

UM790 ProのiGPU(Radeon 780M)でStableDiffusionを動かすことができた。今回導入した環境はWindows+DirectMLである。かなり苦労したので導入手順についてここにまとめておきたい。またUbuntu＋ROCｍ環境との性能比、Windows+CPU動作時の性能比もメモしておく…

昨日の朝のNHKのニュースで、イギリスの郵便局で起きた冤罪事件で被害者となった女性のインタビューを見た。郵便局に導入されていた会計システムの不具合で会計上の残高と実際の残高が一致しなくなり、横領の罪で起訴され実刑判決を受け、収監されてしまった…

MicrosoftのCopilotに対抗してGoogleが提供を始めたAIがGeminiである。最近公開されたばかりのため、まだ使ったことがない。折角Copilotを試したのでGeminiも同じお題で試してみた。 GeminiにRスクリプト作成を頼んでみた 先日の記事を読んでいただいた方は…

LOGEST関数によるカーブフィッティングという記事で、エクセルのLOGEST関数を使い株価の成長率（年利）を求め、グラフを描く方法を紹介した。今回はRスクリプトを使う方法を紹介したい。私はRを動作させる環境は持っているが、昔使ったことがあるというレベ…

DeepLearning系の将棋AIがRyzenのiGPUで簡単に動いた、の続報で今回はふかうら王についてである。ふかうら王はやねうらお氏によって作られたdlshogi互換エンジンである。 ふかうら王の導入手順 Windows版実行ファイルは下記のページから辿っていき、ふかうら…

DeepLearning系の将棋AI（dlshogiやふかうら王）をRyzenのiGPU（CPU内蔵GPU）で動かすのは大変だと思っていた。しかし、今日、なにげなくWindows11環境にDeepLearning系の将棋AIをインストールしたところ、onnxruntimeを使えばDeepLearning系の将棋AI（dlsho…