携帯電話でローカル LLM を実行する方法 (およびそうしたい理由)

現在、自由に利用できるラージ言語モデル (LLM) が十分にあるため、コンピュータ上でローカルに実行するのが一般的になっており、クラウドに何も送信する必要がなく、オフラインで動作するため、よりプライベートなものになります。

これらの高度な AI モデルを携帯電話で実行するのはそれほど簡単ではありません (したがって、最も高度な Siri AI 機能には最新の iPhone が必要です)。しかし、現在では、ほとんどの携帯端末が十分に強力であり、一部のモデルは実際に実現可能なほど小型で効率的です。

利点はデスクトップの場合と同じです。LLM は常に利用可能で、Google、OpenAI、Anthropic、その他の誰にも何も送信されず、自分だけが利用できます。欠点は、より小型で非強力なモデルを扱うため、AI から得られるパフォーマンスが遅くなり、制限されることと、バッテリー寿命に影響が出る可能性があることです (これらの AI チャットは非常にリソースを消費する可能性があります)。

こうした妥協をしたとしても、携帯電話上で起動して実行できるローカル AI は、依然として日常業務やチャットを十分に実行できます。つまり、Gemini や Siri (そしておそらく AI サブスクリプション) を休ませることができるということです。

ローカル LLM を実行するために必要な電話

過去数年間に発売された iPhone または Android 携帯電話は、ローカル LLM を適切に実行するはずです。 AI ブームは、メーカーが特にこの種の用途を念頭に置いてデバイスを構築し始めたことを意味します。古い携帯電話も引き続き適用できますが、小型のモデルが必要になり、パフォーマンスが低下する可能性があります。

AI モデルを実行する場合、実際にはチップセットのパフォーマンスよりも RAM の方が重要です。これを満足のいくレベルで動作させるには 6GB 以上が必要で、より大きなモデルには 8GB 以上が適しています。 8 GB 未満では、1 ～ 2B モデルに固執します。B は 10 億を意味し、モデル内のパラメーターの数を指します (本質的に、モデルがどの程度スマートで多用途であるかを表します)。

Pixel 11 Pro のようなスマートフォンには AI モデルが搭載されていますが、それらは閉じ込められています。
クレジット: Google

収納スペースに関しては、それほど心配する必要はありません。 7 ～ 8B を使用する最大のモデルでも、携帯電話に占めるスペースの上限は約 5 GB になるため、ハンドセットに複数の AI モデルを保持し、必要に応じて切り替えることもできます。

現在、新しいフラッグシップレベルの iPhone または Android スマートフォンを購入すると、実際には、クラウドに ping を送信せずに迅速なタスクを実行できるローカル AI モデルがプリインストールされています。ただし、これらの Apple および Google 製モデルは、ユーザーであるあなたに直接利用できるものではありません。これらは、Siri AI と Gemini が最良の選択肢であると判断した場合に使用されます。

ローカル LLM を実行するために必要なアプリとモデル

AI モデルを携帯電話に取得して実行するアプリがいくつかあります。最も人気のあるものは、Atomic Chat (Android または iOS) と PocketPal AI (Android または iOS) です。いくつかの違いがあります。たとえば、Atomic Chat をデスクトップ LLM に拡張する方が簡単ですが、PocketPal AI はもう少し軽量です。しかし、どちらも携帯電話でローカル AI を使い始めるには最適です。

モデル自体 (より限定された環境で動作するように設計されているため、SLM または小規模言語モデルと呼ばれることもあります) についても、ここでは十分な選択肢があります。たとえば、Gemma は Google が無料で利用できるオープンソース モデルの総称であり、その一部は、リソースが少ない狭いスペース (携帯電話など) で動作するように特別に設計されています。

PocketPal AI は、ニーズに合った適切なローカル モデルをガイドします。
クレジット: ライフハッカー

Meta には Llama というあだ名を持つ独自のオープンソース AI モデルがあり、Microsoft には効率性でも高く評価されている Phi-4 モデルがあります。お使いの携帯電話で最適に動作するパッケージを見つけるには、「B」の前にあるパラメータの数が最も少ないバージョン (または名前に「mini」が付いているバージョン) を探すだけです。

現時点では、これらの SLM はほとんどがテキストのみですが、より新しく大規模で高度な SLM の一部は画像やファイルを分析できます。画像やビデオを生成できるようにしたい場合は、少なくともテクノロジーが次の飛躍を遂げるまでは、従来のクラウドベースの AI モデルを使用する必要があります。

ローカル LLM をテストする

これらのローカル AI モデルの 1 つが携帯電話でどれほど役立つかを確認するために、PocketPal AI と小型の Google Gemma モデルの 1 つを Pixel 9 Pro にインストールしました。これはもはやフラッグシップではありませんが、それほど古くはありません。 PocketPal AI が開く小さな選択ウィザードが気に入りました。これにより、携帯電話に適した AI モデルが直接表示されます。

いくつかのモデルをダウンロードしてインストールしたら、それらをロードして開始するのは簡単でした。 PocketPal AI では、AI モデルを用途に合わせて調整できるオプションの「パル」 (アプリ名の由来) にもアクセスできます。デフォルトの Pip オプションは、標準の Gemini または Siri AI アプリで使い慣れているものの代わりとして適しているようです。プロンプトとフォローアップは通常どおりに機能し、チャット履歴はデフォルトで保存されます。

これらの小規模な LLM は、迅速な回答や情報の要求に最適です。
クレジット: ライフハッカー

携帯電話で LLM を実行すると、応答に顕著な (そして予期された) 遅さがあり、AI モデルのサイズ間には顕著な違いがあります。たとえモデルがそれほどスマートでなく、完全ではなくても、より小さいモデルを選択すると、応答が大幅に速くなります。パフォーマンスと速度の間の独自のスイートスポットを見つけるために、いくつかのモデルを試してみる価値はあります。

Web 検索や最新の知識が利用できないため、これは、アイデアのブレーンストーミング、既存のテキストの分析と洗練、新しいテキストの作成、および迅速な事実や比較の取得 (「次のような映画をください」) に最適です。いつものように、これらの幻覚に注意し、AI の言葉を正確であると保証しないでください。