シンギュラリティ実験ノート

購入した1000ドルPCで何がどこまでできるのか実験した記録です。

GroqのLPUの性能を調べてみた

GroqのLPUでLlama3-70Bを動かし、その爆速ぶりを経験した。この機会にLPUの性能を1000ドルあたりに換算した性能(コストパフォーマンス)がどの程度なのかを調べてみた。1000ドルに換算したPCの性能は、シンギュラリティの到来時期を予測する上で重要なデータとなるからだ。

 

製品構成

基本になるのがアクセラレータとしてのGroqCardだ。この中にLPUとしてのGroqChip1つと230GBメモリが搭載されている。PCIe Gen4 x16 インターフェイスを採用しており、メモリ帯域幅は80TB/sと桁違いに早い。

GroqCardを8枚搭載したサーバー製品がGroqNodeである。OSはGroqWare Suite (SDK およびユーティリティ) を搭載した Ubuntu Linux となっている。

更にGroqNodeを19インチラック(42Uサイズ)に複数台搭載したクラスタ構成のコンピュータのGroqRackや、GroqRackをデータセンターに大量に設置して構成されたGroqCloudがある。

GroqCardの性能と価格

GroqCardの性能はGroq公式ページに掲載されており以下の数値になっていた。

  • 最大 750 TOPs、188 TFLOPs  (INT8、FP16 @900 MHz)

単位を説明するとTOPsはTera Operations Per Secondの略で、1TOPsは1秒間に 10^{12}回の整数演算ができること、TFLOPsはTera Floating Operations per secondの略で、1FLOPsは1秒間に 10^{12}回の浮動小数点演算ができることを示す。POPsとPFLOPsは更に単位がPetaになるので整数演算と浮動小数点演算が1秒間に 10^{15}回できることを示す。

Gloqはハードを独自開発しているが、ハードの販売は積極的には行っていないようで、正確な価格は分からない。Vengineerさんの情報によると、GroqCardは$20,000で入手できるようだ。この価格はGroqがハード販売をビジネスモデルとして考えていないため、あえて高い価格設定にしている気がする。同じくVengineerさんの情報によると、GroqCardの製造原価は$1,000となっている。大胆にこの製造原価でコストパフォーマンスを評価すると、$1,000あたり188TFLOPSとなる。1FLOPS=1CPSとすれば 2 \times 10^{14}CPSとなり、私が以前にプロットした1000ドルあたりのPCの進化予測のグラフで、2024年時点の性能として妥当な数値だ。TOPSの値を使えば 10^{15}CPSの性能も視野に入ってきたことになる。

 

singula2045.hatenablog.com

1000ドルあたりのPCの性能予測

GroqNodeやGroqRackの性能が意味すること

GroqNodeとGroqRackの性能はそれぞれ以下の通りとなっている。

  • GrocqNode 最大 6 POPs、1.5 PFLOPs (INT8、FP16)
  • GrocqRack 最大48 POPs (INT8), 12 PFLOPs (FP16)

GrocqNodeはGrockCardの8倍、GroqRackはGroqNodeの8倍の性能となっている。理論値の計算なので単純にこのような数値になるのだろう。しかしこのレベルの性能には重要な意味がある。10 POPs(つまり 10^{16}CPS)は、レイ・カーツワイル氏が「シンギュラリティは近い」の中で、人間の脳をシミュレートするのに十分な能力とした数値だ。1秒間に1京回の計算を行え、2012年に日本のスーパーコンピュータ「京」が実現している。これを上回る性能が1台のラック搭載型クラスタ構成コンピュータで実現できるようになったわけだ。

 

Groqの性能を調べていた時に興味深い動画を見つけた。Groqの公式ページにあるYouTubeの動画である。GroqのCEOがCNNのインタビューを受けている。開始4分あたりからGroqのAIとアナウンサーが会話を始める。AIが回答をしている時にそれを遮るように重ねてアナウンサーが質問すると、AIはその質問にも適切に対応しているのが分かる。

www.youtube.com

 

レイ・カーツワイル氏は2020年代の終わりまでに、コンピュータがチューリングテストに合格できるようになり、コンピュータの知能が生物としての人間の知能と区別がつかなくなるまでになると予測している。この動画のAIのデモは、2029年まで待たずにそれが実現するだろうと予感させるのに十分だ。

まとめ

Groqの製品は今のところ個人が購入できる代物ではないし、PCと呼べる範疇でもない。しかし約10年前にスーパーコンピュータで実現していた性能が1ラックのコンピュータで実現できるようになるのだから、更に10年後にはPCレベルで実現できている可能性は高いだろう。

Groqの製品は今回はPCの成長予測グラフには追加しないが、コンピュータの性能という面では今後も目が話せない企業である。