OllamaをWindowsのWSL2環境に導入した。更にLM-StudioでダウンロードしてあるLlama3-ELYZA-JP-8Bの量子化済みモデルを変換してOllamaから使えるようにしてみた。 Ollamaの導入（Windows-WSL2環境） 最近はWindows（Preview）版もあるのだが、練習をかねてLin…

以前の記事で、Tanuki-8x8Bのオリジナル版が動く環境について調べた。96GBのVRAMが必要で400万円クラスのマシンが必要であることが分かった。 今回は、Tanuki-8x8Bの量子化版、あるいは70B（700億パラメタ）クラスのLLMがローカルで快適に使える環境について…

OpenAIのサム・アルトマンCEOが「The Intelligence Age」と題する記事を公開し、「数千日以内に超知能（superintelligence）が誕生するかもしれない」と述べた。 superintelligenceとは、つまりArtificial Super Itelligence（ASI：人工超知能）のことであろ…

OpneAIがOpneAI o1を発表し、課金ユーザにのみ開放した。 GPT-4oよりも数学とコーディングの能力が優れていて、数学オリンピックの問題も解けるらしい。数独パズルも解いたというXのポストを見た時は、ついにここまで来たかと正直おどろいた。 数独の問題を…

Colab Proの高性能GPUを使ってdlshogi（DeepLearning系将棋AI）を動かすとNPS値がどれくらい上がり、ELOレーティングがどれくらい上がるのか試してみた。 A100 GPUの性能 使用したA100 GPUの性能は、GoogleのAIのGemini1.5Proの回答によると以下の通り。 A10…

DeepLearning系の将棋AIの本来の強さを知るためには、NVIDIA製GPUと高性能な推論ランタイムライブラリであるTensorRTの環境が必要である、ということは先日の記事で書いた通りだ。 そこで今更ではあるが、dlshogiと水匠5をColab環境の有料版にインストールし…

Tanuki-8x8Bのオリジナル版のモデルサイズは94～95GBくらいある。このサイズになると通常のPCクラスでは動かすことができない。そこでColab ProのようなクラウドのGPUを借りることになる。しかしワークステーションと呼ばれるクラスのマシンを購入すればロー…

せっかくColab Proが使えるようになったので、ローカルPCでは動かせないような大規模言語モデルを動かしてみたい。そこで選んだのが東大松尾・岩澤研が最近発表したTanuki-8x8Bである。8x8Bとは公開ページの説明によると「8Bモデルを8つに複製し、それぞれを…

DeepLearning系の将棋AIを十分な性能のGPUで動かしたい時に、Google Colab Pro（以下、Colab Pro）が使えそうだと思った。支払い方法が気になるのでそこから調べたところ、Googleアカウントに登録した支払い方法がColab Proの支払いに使われることが分かった…

GPU性能は将棋AIの強さに影響する。dlshogiのようなDeepLearning系の将棋AIソフトに本来の強さを発揮させるには、最低でも20～30万円クラスのゲーミングPCの能力が必要と言われている。我が1000ドルPCでもdlshogiは内蔵GPU＋onnxruntime版で動いているのだが…

AIと言葉だけで遊ぶゲームができたら面白いと思う。前回、AI（Llama3.1-8B）と「しりとり遊び」をしてみたが、うまく続かなかった。「まんが」というと、AIの中では「MANGA」となり最後の１文字を「A」と認識するようだった。 しかしAIは人と会話した流れを…