フラクタル図形（マンデルブロ集合）を描くプログラムをLLMに作らせてみた。 いきなりだがマンデルブロ集合は以下の数式で定義される。 が無限大に発散しないという条件に当てはまる複素数 の集合をマンデルブロ集合という。 一見シンプルな数式だが、 で が…

DeepSeek-R1の蒸留版が私の環境でも動くようになった。OpenAI o1と同程度の性能と言われるほどなのでいろいろ試している。 暗号を解かせてみた o1のプレビュー版が公開された時の説明資料に「Chain of Thought」の概念の説明があり、そこで「Chain of Though…

先日の記事でVRAMを16GBに設定し、QWQ-32BのQ3_K_S量子化版を動かした様子を紹介した。その後、VRAMが正しく16GBに設定されていない（Autoに戻っていた）ことが分かり、再設定をしたので再度QWQ-32Bの動作を確認してみた。 BIOSで正しくVRAM16GBに設定すると…

JavaScript だけでチェスの棋譜を再生できて、簡単にブログに貼り付けられる、そんなアプリがほしいと思った。しかし私は JavaScript について全く知らないので、自力での作成はほぼ不可能である。当然ここはAIに頼んで作ってもらうしかない。また、AIの実力…

LLMにチェスをプレイさせるとどれくらい強いのか、という話題で興味深い記事があった。その記事の内容と私が追試した結果についてメモしておきたい。 参考にした記事 GIGAZINEの記事によると、『大規模言語モデルをチェスの標準的なAIと対戦させた結果、多く…

LLMで動くUSIプロトコルの将棋エンジン（将棋AI）を作ってみた。作成の基本方針は先日の記事の通りである。使用したモデルはLlama3.1-8Bでollamaを介して動かしている。 RAG機能と言っていいのか分からないが、テキストファイルに「SFEN形式の説明」と「序盤…

LLM（大規模言語モデル）を使ってチェスができるなら将棋だってできるだろう。そう思って試してみることにした。LLMで動くUSIプロトコルの将棋エンジン（将棋AI）を作るというのが、今回の最終的な目標である。 基本方針 先日の記事では、LLMとチェスAI(Stoc…

８BのLLMでStockfishとチェスの対局をさせたところ全く歯が立たなかったのは先日の記事の通りである。では７０BのLLMではどうなるのか。 GroqのOpenAIのI/FでLlama3.1-70BとつないでStockfishと対局させてみた。結論から言うと、７０Bのモデルでも８Bのモデ…

redditを眺めていたら気になる投稿があった。「What Happens When LLMs Play Chess? And the Implications for AGI」というタイトルだった。LLMにチェスをプレイさせるとどうなるか、という内容のようだ。著者のブログにはStockfishと複数のLLMのELOレーティ…

あるブログ記事を見ていて、Open WebUIを使うとClaude 3.5で動くArtifactsと同じ機能が使えることを知った。Artifactsについてはよく知らないが、AIにコーディングさせた結果を画面上ですぐに確認できる機能のようだ。一度使ってみたかったので導入してみる…

新しいMac miniが予約開始となった。ミニPC好きの私としてはこの新Mac miniでLLMを動かした場合の性能に興味がある。新Mac miniのM4 Proで８Bクラスおよび７０BクラスのLLMを動かした場合の性能を見積もり、我が1000ドルPCと比較してみたい。 Mac mini M4 Pr…

ブログのサイドバーに「注目記事」を表示するようにした。直近のアクセスでアクセス数の多い記事が表示される。これを見るとブログ開設当時に書いた２つの記事が常に１位、２位となっている。Googleで「ROCm」と検索すると１位の「AMD ROCmを使うことで何が…

MicrosoftからBitNetのLlama 8B版が公開された。CPUのみで爆速で動くことが特徴。GPUが不要なので省エネになるし、モバイル端末でも使えるようになることが期待できるらしい。我が１０００ドルPCでも動くのか試してみた。 導入方法 導入先環境はUbuntu 22.04…

Nvidiaが「Llama-3.1-Nemotron-70B-Instruct」（以下Nemotron-70B）を公開した。一部のベンチマークではOpenAIのGPT-4oやAnthropicのClaude 3.5 Sonnetを上回るらしいので、早速試してみることにした。 「ストロベリー問題」と言って、これまでGPT-4oやClaud…

AIに関する記事を読んでいると「進化的アルゴリズム」という言葉をよく見かける。また似たような言葉で「進化的プログラミング（または遺伝的プログラミング）」というのも見かける。それぞれどのような概念で、どのような違いがあるのか。私は全く分かって…

Anthropic CEOのダリオ・アモデイ氏が「Machines of Loving Grace（愛しき恩寵の機械たち）」という格調高いタイトルのエッセイを公開した。 Machines of Loving Grace 要約 Machines of Loving Grace: my essay on how AI could transform the world for th…

Ubuntu 22.04でEmacs29をビルドし、EllamaというElispパッケージの導入に成功した。導入方法と使用してみた感想などをメモしておきたい。まだ使い込んでいないのと、非常にマニアックな環境なため強くオススメはできないが、ローカルLLM実行環境としては最強…

OllamaをWindowsのWSL2環境に導入した。更にLM-StudioでダウンロードしてあるLlama3-ELYZA-JP-8Bの量子化済みモデルを変換してOllamaから使えるようにしてみた。 Ollamaの導入（Windows-WSL2環境） 最近はWindows（Preview）版もあるのだが、練習をかねてLin…

以前の記事で、Tanuki-8x8Bのオリジナル版が動く環境について調べた。96GBのVRAMが必要で400万円クラスのマシンが必要であることが分かった。 今回は、Tanuki-8x8Bの量子化版、あるいは70B（700億パラメタ）クラスのLLMがローカルで快適に使える環境について…

Tanuki-8x8Bのオリジナル版のモデルサイズは94～95GBくらいある。このサイズになると通常のPCクラスでは動かすことができない。そこでColab ProのようなクラウドのGPUを借りることになる。しかしワークステーションと呼ばれるクラスのマシンを購入すればロー…

せっかくColab Proが使えるようになったので、ローカルPCでは動かせないような大規模言語モデルを動かしてみたい。そこで選んだのが東大松尾・岩澤研が最近発表したTanuki-8x8Bである。8x8Bとは公開ページの説明によると「8Bモデルを8つに複製し、それぞれを…

AIと言葉だけで遊ぶゲームができたら面白いと思う。前回、AI（Llama3.1-8B）と「しりとり遊び」をしてみたが、うまく続かなかった。「まんが」というと、AIの中では「MANGA」となり最後の１文字を「A」と認識するようだった。 しかしAIは人と会話した流れを…

先日の記事（8/11）で「AIに最新の理工学系の研究論文を読ませて、この理論を実証試験できるプログラムを作成して、と頼めば作成してくれるようになる日も近いかも」というようなことを書いた。そのためには更に高いレベルの数学能力が必要になるだろうから…

中国のAI研究チーム（アリババグループらしい）が数学特化のLLMを公開した。モデルサイズは最大で720億パラメタなので、我が1000ドルPCでもギリギリ動くだろう。早速試してみることにした。 試す問題は高校レベルの数学「因数分解」である。今のレベルのLLM…

Llama3.1‐405Bに鳥の群れの動きをシミュレーションするというテーマでプログラムを作成させてみた。様々なLLMにコーディングさせた経験から、今のところこのテーマがLLMのコーディング能力を試すのに一番いいと思っている。 今までにこのテーマを正しくコー…

Llama3.1の70B（700億パラメタ）を1000ドルPCで、405B（4050億パラメタ）をクラウド上のデモ環境で動かしてみた。これまでにもLlama3-8BやLlama3-70Bを動かしてきたので、Llama3.1になってどれくらい賢くなったのかを検証してみた。 Llama3.1-70B（700億パラ…

数独は日本ではナンプレとも呼ばれ、海外ではSudokuと呼ばれる。Sudoku は世界中で人気のある有名なパズルだ。今回は数独パズルを生成AIに与え、自力で解けるのかを試してみた。 Copilotに頼んで描いてもらいました 使用した数独パズル 今回はネットで見つけ…

Anthropic社のClaude 3.5 Sonnet の性能が素晴らしい、もうこのレベルまで来たのかとLLM界隈がざわついているようだ。私も遅ればせながら無料版で少しだけ動かしてみたので、その結果をここにまとめておきたい。 Claude 3.5 Sonnet へのアクセス こちらのサ…

RyzenAIのNPUについて調べていたら、Running LLama 3 on the NPU of a first-generation AMD Ryzen AI-enabled CPU（第一世代AMD Ryzen AI対応CPUのNPU上で LLama3を実行する）という記事をアメリカの掲示板サイトRedditの中に見つけた。Llama3-8Bの量子化モ…

5月26日の朝日新聞「スパコン使いこなすAI」という記事を読んだ。１年ほど前、理化学研究所の研究員がChatGPT（当時はGPT4）に、「スパコンを活用して新型コロナのパンデミックを抑えたい。どんな研究が効果的だろう？」と聞いたところ、「飛沫が舞うシミュ…