AI モデル、特に大規模な言語モデルについて考えるとき、おそらく、数千ワットの電力を消費する大規模なデータセンターや、小国の GDP に匹敵する十分な VRAM を備えた大型で高価な GPU を想像するでしょう。
あなたは何ですか しないでください Raspberry Pi のような安価な小型シングルボード コンピューターを思い浮かべてください。しかし、(Tom’s Hardware で報告されているように) 90 年代後半の PC ではるかに性能の劣る LLM を実行している人がいます。明らかにここで何かが起こっています。実際には、Raspberry Pi のようなローエンド デバイスでも、世の中にある AI モデルの一部を実行できますが、それが最終的にどれほど役立つかについては議論の余地があります。
新規性から実行可能性へ: 100 ドルのコンピューター上のローカル AI
こんなに安いのに効果があるのは素晴らしい
機能をあまり失わずに LLM を縮小する取り組みが継続的に行われています。 LLM を実行する際の大きなハードルの 1 つは、必ずしも処理能力ではなく、そもそもモデルをメモリに収めることができるかどうかです。 Raspberry Pi 5 の最大の RAM は 16 GB ですが、ほとんどの人はおそらく 8 GB 以下の小さいバージョンを使用しているでしょう。
量子化として知られる技術を使用すると、LLM の重み付けされた値の精度が低下します。これらの値は何十億も存在するため、それぞれの精度を大幅に下げると (値がより近似的になり)、モデルが占めるスペースの量に大きな影響を与えます。
驚くべきことに、出力品質に関しては、これによってモデルの品質は低下しますが、その低下はサイズの縮小に必ずしも比例しません。これは、モデルがニーズを満たしているにもかかわらず、必要なメモリと処理能力が大幅に減少していることを意味します。
実際に実行（使用）できる実際のモデル
それは単なる理論的なものではありません
Llama 3、Mistral、Qwen などのモデルの量子化バージョンは、Pi ハードウェアでよく使用されます。
パラメータが 10 億から 30 億の範囲の「小型」モデルは Pi 5 で快適に動作します。慎重にチューニングして期待値を管理すれば、約 70 億のパラメータを持つ小型モデルも 8GB Pi 5 で使用できるようです。
たとえば、この LinkedIn Post によると、作成者は llama.cpp を使用して Qwen コーディング アシスタントを実行しました。
性能は限られているが実用的
適切な仕事には十分です
一部のモデルは Raspberry Pi 5 8GB の限られたメモリに収まりますが、部屋の中の象は依然として処理能力を発揮します。 Pi 5 は、特に優れた冷却装置を備えている場合、そのサイズと消費電力の点で非常に強力ですが、全体的にはまだエントリーレベルのコンピューターにすぎません。
私がこれまで見てきたさまざまなベンチマークに基づくと、標準の Pi 5 は常にトークンの何分の 1 から 1 桁後半までの範囲のトークン レートを提供します。作業内容に応じて色々な場面で使えます。
問題に対処するためにモデルを一晩中実行し続ける場合、リアルタイム応答の欠如はそれほど問題ではなく、シンプルなリアルタイム AI の使用が依然として検討されています。
ラズベリーパイ
8GB
コーテックス A7
8GB
ラズビアン
4 USB-A
これは技術に精通したユーザーにのみ推奨されますが、Raspberry Pi 5 はいじくり屋の夢です。安価で、高度にカスタマイズ可能で、優れたオンボード仕様を備えているため、次のミニ PC の強固な基盤となります。
ハードウェアとエコシステムのアップグレードが進歩を加速
もっと良く構築できるよ
ここまで、箱から出した状態の Raspberry Pi について、空冷装置を追加する点以外について言及してきましたが、それだけにとどまる必要はありません。 Pi にニューラル プロセッサを追加し、モデル実行時のパフォーマンスを大幅に向上させる一連の公式 AI「HAT」があります。
確かに、多くの場合、Pi 自体よりもコストがかかりますが、それでもローカルのプライベート AI としては総所有コストが非常に低いのです。
Pis for AI のパフォーマンスをアップグレードするためにお金を費やす場合は、Jeff Geerling がこのビデオで行ったように、eGPU を使用するという選択肢もあります。
これでモデルが GPU 上で実行され、相応のパフォーマンスが得られます。しかし、現時点でも、Raspberry Pi 上でローカル AI を実行していると本当に言えるのでしょうか?絶対にそうだと思います。これは 多くの ローカル AI 専用の GPU を中心に従来のコンピューター全体を構築するよりも安価です。Raspberry Pi は、完全な汎用コンピューターではないため、GPU ではできない調整とサポートをすべて実行します。
ボット軍団を構築する
モデルの効率が向上し、シングルボード コンピューターがより強力になるにつれて、遠く離れたデータ センターや稼働するために何ガロンもの水を必要としないローカライズされた AI がさらに活用されるようになるのは間違いありません。独自の分散型ジャービス、あるいはバターを渡すという 1 つの仕事だけを行うロボットを作成するのが待ちきれません。