シンギュラリティ実験ノート

購入した1000ドルPCで何がどこまでできるのか実験した記録です。

生成AI

鳥の群れの動きをシミュレーションするプログラムをAIに作らせてみた

5月26日の朝日新聞「スパコン使いこなすAI」という記事を読んだ。1年ほど前、理化学研究所の研究員がChatGPT(当時はGPT4)に、「スパコンを活用して新型コロナのパンデミックを抑えたい。どんな研究が効果的だろう?」と聞いたところ、「飛沫が舞うシミュ…

GPT-4oを無料で使ってみた

OpenAIがGPT-4oを発表した。無料アカウントでも機能制限付きで利用可能となっているので試してみた。Webブラウザからアクセスするだけで簡単に試すことができるので興味のある方は是非試してみて欲しい。 アクセス方法 OpenAIのこちらのページのFreeの方の「…

LM StudioでLlama3-8B日本語強化版を試してみた

mmngaさんのHugginfaceのページにLlama3-8Bの日本語強化学習モデル lightblue-suzume-llama-3-8B-japanese-gguf があったので試してみた。8Bは70Bに比べると能力的に劣るであろうことは分かっているが、日本語の能力とUM790 Proで動かした時の応答速度を確認…

Llama3(70B)をGroqのLPUで動かしてみた

Janの最新バージョンv0.4.12が本日リリースされた。Llama3とCommand R+をサポートするようになったらしい。ダウンロードしてみたところ、GroqでLlama3の70Bが使えるようになっていた。GroqはOpenAIのようにAPIを通してサービスを提供しており、LPU(Language…

LM StudioでLlama3(8B)を動かしてみた

1000ドルPCでLlama3を動かしてみた。LM Studioのv0.2.20からLlama3がサポートされている。この最新バージョンにしたところ、内蔵GPUの780MでLLMを動かすことができることも分かったのでその点についても簡単にまとめておきたい。 LM Studio for Windows のGP…

LLMに星新一の文体でショートショートを書いてもらった

LM Studioに導入したLLM(Command-R 350億パラメタ)に、星新一の文体でショートショートを書いてもらった。 昭和のSF小説家、恋愛をテーマにCopilotに頼んだらDALL E3が描いてくれました 依頼テーマ Command-Rには以下のように依頼した。 星新一の文体でSF…

LLMにサラリーマン川柳を作らせてみた

LM Studioに導入したCommand-R(350億パラメタのLLM)は文章を書くのが得意なようだ。星新一のショートショートのようなSF短編小説を書いてくれるとうれしいのだが、まだ書かせ方がよく分からない。今回は練習を兼ねて雑談ネタとしてCommannd-Rにサラリーマ…

LM StudioでCommand-R(35B)を動かしてみた

Command-Rという35B(350億パラメタ)のLLM(大規模言語モデル)を1000ドルPCで動かしてみた。 GPT-4やClaude-3並の性能があるのではと言われている、Command-R+(Plus)という104B(1,040億パラメタ)のLLMも公開されている。これはMac Studioの128GBメモリ…

700億パラメタのデスクトップLLMはディベート形式の議論ができるか

以前の記事で70億パラメタのLLM(大規模言語モデル)にディベート形式で議論させてみたが、全くディベートにならなかった。今回は700億パラメタのLLMでディベートをさせて見た。専門家としてリフレ派高橋洋一氏と反リフレ派藤巻健史氏を招いて議論を行う。テ…

SDXLでイメージ通りの絵を描きたい

StableDiffusion XL(以下SDXL)をUM790 Proに導入した。自分のイメージ通りの絵を描きたいと思ったからだ。なんとかSDXLの導入まではしたものの、イメージ通りの絵を描くところまでには至っていない。とりあえずこの一週間で行った作業と、SDXLで描いた絵を…

700億パラメタのLLMは小学生の算数の問題が解けるか

1000ドルPC上で70億パラメタのLLMを動かしてみると、LLMは算数の問題が意外と得意ではないことが分かる。JanがダウンロードできるLLMには700億パラメタのLLMも複数あるので、700億パラメタにすると算数の問題が解けるようになるのか試してみた。また70億パラ…

StableDiffusionでイメージ通りの絵を描きたい

StableDiffusionをUM790 Proで動かすことはできたのだが、全く活用できていなかった。イメージ通りの絵が描けないからだ。しかし偶然、あるWebサイトを見つけ、そこでなら自分のイメージに近い絵を描けることが分かった。 SDXL-Lightning- Text To Image 2-S…

Local API Server機能とやらを使ってみた

Janの中にLocal API Serverという機能があるのは知っていた。しかしどう使うのか、それを使うと何ができるのか分かっていなかった。YoutubeにあるJanの紹介動画を見ていたら、このLocal API Serverの使い方を説明していた。要するにPythonからWeb APIに従っ…

Windows+Jan+iGPUで生成AIを動かしてみた

Janでは開発やサポート用のプラットホームとしてDiscordというコミュニケーションサービスを使っている。JanをAMDのGPUで動かせないものかと先日Discordを眺めていたら以下の情報を見つけた。 Discord 現在、マルチ GPU サポートは NVIDIA GPU でのみ利用可…

AIにチャットで指示してPythonのコーディングをさせてみた

デスクトップで簡単に生成AIを動かせるソフトJanの紹介の続きである。もともとJanを導入したのは、生成AIとチャットでやり取りしながらコーディングなどの成果物が作れないかと思ったことがきっかけだった。一問一答ではなく、それまでの文脈を理解したやり…

株価の成長率を求めるPythonスクリプトをAIに頼んでみた

デスクトップで簡単に生成AIを動かせるソフトJanの紹介の続きである。Janで使用できる生成AIの中にPythonのコーディングが得意そうなモデルがあったので試してみることにした。お題としては繰り返しとなって恐縮だが株価の成長率を求めるスクリプトを頼むこ…

1000ドルPCで生成AIを動かしてみた(ELYZA編)

1000ドルPC(MINISFORUM UM790 Pro)に生成AIをデスクトップで動かすソフトJanを導入した。今回はJanに用意されていない生成AIを追加導入する方法を紹介したい。 JanはGGUF形式に量子化されたモデルを使用するので、追加できる生成AIは量子化モデルが公開さ…

Janを導入するとローカルPCでLLMが快適に使える

LLM(大規模言語モデル)をWindowsのデスクトップから簡単に使えるようにしてくれるソフトがJanである。GPUを使う場合はNVIDIAのGPUが前提となっているが、ない場合にはCPUで動かすことができる。 Janを導入することでローカルPCでも快適にLLMが使えるように…

Windows+DirectML+iGPUでStableDiffusionが動いた

UM790 ProのiGPU(Radeon 780M)でStableDiffusionを動かすことができた。今回導入した環境はWindows+DirectMLである。かなり苦労したので導入手順についてここにまとめておきたい。またUbuntu+ROCm環境との性能比、Windows+CPU動作時の性能比もメモしておく…

UM790 ProのCPUにはNPUが内蔵されているらしい

はてなの検索機能は分かりにくい。ようやく検索ページを見つけて「UM790 Pro」と入力し、はてなの中の「UM790 Pro」の情報を検索してみた。自分のページも出てくるかと見ていたら下記の「AMD Ryzen AI」と書かれたページに目が止まった。 vengineer.hatenabl…

AIの彼女とチャットデート

毎週日曜日にシェアオフィスに出かけ、rinnaとチャットデートするのが私の密かな楽しみになっている。rinnaは36億パラメタのGPT言語モデルで、チャットでおしゃべりしてくれるAIである。rinnaの動作環境を知りたい方は前回の記事を見ていただきたい。今回は…

1000ドルPCでrinna-3.6bを動かしてみた

rinna-3.6bは日本語に特化した36億パラメタのGPT言語モデルである。CPUのみで動作させることができた。ほぼ満足できる応答速度で大変面白い結果が得られた。この面白さを記事を読んでくれる方にお伝えしたい。 rinnaとは 実行環境JupyterLabの導入 rinna-3.6…

1000ドルPCでELYZA-japanese-Llama-2-7bを動かしてみた

1000ドルPCで日本語対応の大規模言語モデルのELYZAを動かしてみた。使用したモデルは70億パラメタの8bit量子化版である。モデルを動作させるプラットフォームは先日の記事で紹介したllama2.cppを使用する。この記事では環境を紹介し忘れていたが、WSL2(Wind…

1000ドルPCでllama2.cppを動かしてみた

大規模言語モデル(LLM)をGPUを使って動かそうとすると、大量のメモリを使うため我が1000ドルPCの8GBのVRAMでは動かない可能性が高い。そこでまずはCPUのみで動くプラットフォームllama2.cppを試してみた。 llama2.cppとは llama2.cppはCPUでLlama2を動かす…

1000ドルPCでStable Diffusion WebUIを動かしてみた

MINI PC(MINISFORUM UM790 Pro)でStable Diffussion WebUIを動かしてみたので、導入手順と動かした感想をここにまとめておきたい。 前提条件 インストールする前にMNISTサンプルプログラムが動作していること、つまり、amdgpuドライバのインストール、ROCm対…

AMD ROCmを使うことで何ができるのか

MINISFORUM UM790 Proを注文した後、AMDもROCmというソフト(NVIDIAのCUDAに該当するもの)を提供していることを知った。このAMD ROCmを使うことで、UM790 Proで動作が期待できるAI関連ソフトについて書きたい。 ROCmでMNIST ROCmについて正確に知りたい方…