JanのモデルにGroqのLlama3.1-70bを追加する方法 - シンギュラリティ実験ノート

ブログのサイドバーに「注目記事」を表示するようにした。直近のアクセスでアクセス数の多い記事が表示される。これを見るとブログ開設当時に書いた２つの記事が常に１位、２位となっている。Googleで「ROCm」と検索すると１位の「AMD ROCmを使うことで何ができるのか」が上位にくるからと思われる。「Ubuntu環境でGPUドライバをインストールしMNIST」がなぜ２位にくるのかはよく分からない。機械学習を学ぶ大学生あたりが読んでくれているのだろうか？

更に不思議なのは「Llama3（70B）をGroqのLPUで動かしてみた」が上位にあることだ。おそらくGoogleから「Groq LPU」というキーワードで検索してヒットしたのだと思われるが、内容的にはJanからAPIキーを使い、GroqのLlama3-70Bにアクセスする方法を説明しているだけだ。ひょっとすると私のように、70Ｂクラスのモデルを爆速でかつ無料で使いたいという人達のニーズの現れなのか？（知らんけど）

Janに新たなモデルを追加する手順

せっかく読んで頂いているので、記事の内容を少しだけアップデートしたい。記事で説明する方法で今でもアクセスはできるが、今ならLlama3.1-70Bの方がちゃんとした日本語で回答してくれるのでオススメだ。ただし残念ながら最新のJanでもデフォルトではLlama3-70Bまでしか使えない。

Janでは新たにモデルを追加することができるので、Groqの新しいモデルを追加する方法を本記事にまとめ、該当記事から本記事にリンクを張ることにした。

Janにモデルを追加する方法は、以前にも私のこちらの記事で説明している。考え方は今でも同じで以下の手順になる。

モデルを格納しているフォルダを見つける
既に動いているモデルをフォルダごとコピーして新しいフォルダ名にする
フォルダにある「model.json」ファイルを編集する
ViewメニューにあるReloadを選択し画面をリロードして追加できたか確認する

Ubuntu環境の場合

モデルを格納するフォルダ
ホームディレクトリーの以下にある。
~/.config/Jan/data/models/
Llama3-70Bのフォルダをコピー
「llama3-70b-8192」がGroqのLlama3-70Bのモデルのフォルダなので、これをコピーし「llama3.1-70b-versatile」とする。
コピーしたフォルダにあるmodel.jsonを編集
編集した箇所は太字部分のみ。フォルダ名とidは一致させること。

{
"sources": [
{
"url": "https://groq.com"
}
],
"id": "llama-3.1-70b-versatile",
"object": "model",
"name": "Groq Llama 3.1 70b",
"version": "1.1",
"description": "Groq Llama 3.1 70b with supercharged speed!",
"format": "api",
"settings": {},
"parameters": {
"max_tokens": 8192,
"temperature": 0.7,
"top_p": 0.95,
"stream": true,
"stop": [],
"frequency_penalty": 0,
"presence_penalty": 0
},
"metadata": {
"author": "Meta",
"tags": [
"General",
"Big Context Length"
]
},
"engine": "groq"
}

Windows環境の場合

モデルを格納しているフォルダは、ホームディレクトリの「Application Data」フォルダの下にあるが、Windowsのエクスプローラーからは見えない。Windows環境からもファイル操作できると思うが、私はその方法を知らないのでWSLのUbuntu環境でのパス名を記載する。usernameは自分の環境で読み替えてほしい。