あなたのスマートフォンは、PC よりもローカル LLM の実行に優れている可能性があります。私の場合は確かにそうです。

有能な言語モデルを完全にオフラインで実行することは、強力なデスクトップを所有することを意味していました。その仮定はもはや当てはまりません。私のハードウェアでは、Google の電話アプリが同じモデルを PC 上の Ollama よりも著しく高速に実行します。その理由は予想よりも興味深いものです。

スマートフォンでローカル LLM を使用する

Googleの実験アプリがオフラインAIを真に実用化

Google AI Edge Gallery は、オンデバイス AI に対する私の考えを変えたアプリです。これは Google の無料のオープンソース プロジェクトであり、Apache 2.0 ライセンスに基づいてリリースされており、Play ストアと App Store の両方で入手できます。これは GitHub 上のサイドロード APK として誕生し、まだ実験的なラベルが付いていますが、一度開いたら忘れてしまう技術デモではなく、実際に日常的に使用できるものに成長しました。

前提は単純です。 Google 独自の Gemma 4 ファミリを含むオープン モデルのリストを参照し、携帯電話で処理できるモデルをダウンロードし、デバイスの CPU または GPU でローカルに実行します。一部のモデルは Hugging Face でホストされており、ダウンロードする前にサインインしてライセンスに同意するように求められますが、モデルが携帯電話にインストールされたら、接続はまったく必要ありません。プロンプトがデバイスから離れることはありません。これは、プライバシーを重視する人にとって重要な点です。

Google Pixel 9 Pro と iPhone 18 Pro Max の両方で、いくつかのタスクのために Gemma 4 E4B を実行してきましたが、そのエクスペリエンスは予想よりもはるかにスムーズでした。応答はほぼ即座に表示され始め、テキストはクラウド チャットボットに近いペース、場合によってはそれよりも速いペースでストリーミングされます。単純なチャットを超えて、このアプリは画像を説明し、音声録音を文字に起こし、翻訳することができ、サポートされているモデルでは、回答する前に段階的な推論を表示することができます。

完璧ではありません。大きなモデルはストレージを消費します。各ダウンロードはギガバイトに達し、モデルのロード中にアプリが停止することがあります。 RAM の少ない携帯電話では、より小さなオプションに限定されます。それでも、初めて機内モードで質問し、理路整然とした迅速な回答が得られたとき、ポケットの中にある携帯電話が、私の PC が問題を抱えていることを行っていることは明らかでした。

Ollama 上の同じ LLM がはるかに遅い理由

メモリ帯域幅と GPU サポートが結果を決定します

Ollama は、コンピューター上でローカル モデルを実行するための頼りになるツールであり、それをうまく実行します。インストールには数分かかり、モデルのプルは 1 つのコマンドで実行でき、Windows、macOS、Linux で動作します。しかし、Ryzen 9 5900X、Nvidia RTX 3070 GPU、32GB RAM を搭載した私の PC にまったく同じ Gemma 4 E4B モデルをロードすると、生成に時間がかかり、携帯電話よりも数秒長く、場合によっては数分も長くかかりました。そのギャップは微妙なものではなかった。

最大の要因はメモリ帯域幅です。テキストの生成は、生の処理能力よりも、ハードウェアがモデルの重みをメモリから計算を行うチップにどれだけ速く移動できるかが重要です。すべてのトークンはモデルの大部分を読み取る必要があるため、そのパイプの速度が上限を設定します。

最新の主力携帯電話は、単一チップ上の CPU、GPU、ニューラル ハードウェア間で共有される高速 LPDDR5X メモリを使用しているため、パイプが短く広く保たれています。デュアルチャネル DDR4 を実行している古いデスクトップでは、現在の電話機よりも使用可能な帯域幅が少なくなる可能性があります。

GPU のサポートが 2 番目の要素です。 Ollama は、CUDA コンピューティング機能 5.0 以降を備えた Nvidia カードと、ROCm を介した AMD カードを正式にサポートしていますが、すべての Radeon モデルをカバーしているわけではありません。他の GPU は Vulkan サポートにフォールバックできますが、Ollama がグラフィックス カードを適切に使用できない場合、またはモデルがビデオ メモリに完全に収まらない場合、作業は CPU にまで及びます。このとき、システム RAM を使用して動作するデスクトップ プロセッサでは追いつかないため、パフォーマンスが崖から落ちます。

ソフトウェア自体もあります。 AI Edge Gallery のモデルは、Google の LiteRT ランタイム用にパッケージ化されており、メモリ需要を低く抑える積極的な量子化により、モバイル チップ向けに特別に調整されています。 Ollama は、ほぼあらゆる環境で実行できるように構築されており、その柔軟性はハードウェア固有のチューニングを少なくするだけで実現します。通常、実行されているシリコンに合わせて最適化されたモデルは、老朽化し​​たハードウェアでの汎用セットアップよりも優れています。

走行距離は異なる場合があります

最新の GPU は結果を簡単に反転します

これはいずれも、携帯電話が AI マシンとして PC を追い抜いたことを意味するものではありません。私の経験では、デスクトップ全般の限界についてよりも、コンピューターの使用年数について多くを語っています。十分なビデオ メモリを備えた最新のグラフィック カードをお持ちの場合、Ollama はほぼ確実に同じモデルを他の携帯電話よりもはるかに高速に実行し、ハンドセットには収まらないはるかに大きなモデルを実行できます。

12GB 以上の VRAM を搭載した現在の Nvidia カードは、中型モデルを完全に独自のメモリ内に保持でき、専用のグラフィックス メモリは電話機チップでは実現できない帯域幅を提供します。 Apple Silicon Mac も強力なケースです。Ollama は GPU アクセラレーションに Metal API を使用しており、これらのマシンは CPU と GPU の間で高速ユニファイド メモリを共有します。これは電話とよく似ていますが、より大規模です。どちらのシナリオでも、私が遭遇したボトルネックはほとんど解消されました。

比較は、所有している携帯電話によっても大きく異なります。最高級のチップと大量の RAM を搭載した最近のフラッグシップは、ミッドレンジ モデルや数年前の携帯電話とはまったく異なる提案です。 AI Edge Gallery について報告された結果は、現在のハイエンド携帯電話間でもデバイス間で大きく異なります。アプリに組み込まれたベンチマークは、結論を出す前に自分の結果がどこに到達するかを確認する最も簡単な方法です。

Ollama を責める前に、設定を確認する価値があります。 ollam ps を実行すると、読み込まれたモデルが GPU 上にあるか、CPU 上にあるか、あるいは両方に分割されているかが表示されます。その出力に CPU が表示される場合は、ドライバーの更新、モデルの小型化、またはより積極的な量子化により、ギャップの多くが縮まる可能性があります。自分のハードウェアで両方をテストすることが、どちらが有利かを知る唯一の方法であり、その答えはあなたを驚かせるかもしれません。

古い PC は現代の携帯電話との競争に負ける

老朽化したデスクトップでは、高速ユニファイド メモリとモバイル向けに調整されたモデルのおかげで、Google AI Edge Gallery を実行する主力携帯電話が Ollama を上回ることができます。有能な GPU を搭載した新しい PC は依然として快適に勝利を収めています。そのため、本当の教訓は、デスクトップの方が高速であると考える前に、自分のハードウェアのベンチマークを行うことです。