私の地元の LLM は大きな問題に悩まされています。これが実際の利点です

初めてローカル LLM をインストールしたとき、ChatGPT を使用していたのと同じ方法でそれを使用できると期待していました。私の小規模なハードウェアではこれが機能しないことがすぐに明らかになりました。ローカル LLM の使用方法を変更したことで、ローカル LLM はさらに便利になりました。

私のハードウェア上のローカル LLM は ChatGPT と一致しません

私の予想はすべて外れました

ChatGPT、Claude、Gemini などのサービスは、強力なクラウド インフラストラクチャ上で実行される主要なモデルへのアクセスを提供します。 ChatGPT、Claude、Gemini などの主要なクローズド モデルを支える企業は、パラメーター数を公開していませんが、DeepSeek-V3 は 2024 年に公開され、合計パラメーターは 6,710 億個に達しました。現在のフロンティアモデルは、それより大きくないにしても、少なくとも同じくらいの大きさになる可能性が高いことはかなり安全な賭けです。

比較すると、私のミニ PC で実際に実行できる最大のモデルは 8B モデルであり、これはかなりの勢いです。私のハードウェア上の 8B モデルは、主要なクラウドベース モデルの全体的な機能、速度、信頼性に匹敵することはできません。

問題は、私が初めてローカル LLM を試したときに、それを ChatGPT と同じように扱ってしまったことでした。私は広範で自由回答の質問をしました。ChatGPT ならほぼ瞬時に答えてくれるはずですが、私の地元の LLM が応答を開始するまでに時間がかかり、その後も応答は長く続きました。ローカル LLM がクラウドベースの LLM と同じように機能することを期待するのは不合理なので、私は完全に間違った方法でローカル LLM を見ていました。

小規模 LLM が苦戦している場所

最も早くギャップを露呈したタスク

一般に、主要なクラウドベースの LLM は、広範な質問に答える点で、小規模なローカル モデルよりもはるかに優れています。ローカル LLM はこれらの質問に答えようとしますが、結果は通常期待外れです。

私は ChatGPT に、IPv6 は何十年も前から利用可能であったにもかかわらず、なぜ普及が遅れているのか尋ねました。これは、技術的な知識、技術の歴史、経済学などを一貫した議論に組み合わせる必要がある質問です。 ChatGPT は、複数のアイデアをカバーし、説得力のある議論を形成する有用な応答を即座に生成しました。

私のミニ PC 上の Ollama で実行されている Llama 3.1 8B についても同じことを尋ねました。まず、応答を生成するのに時間がかかりました。しばらく座って返事が一言ずつ書かれていくのを眺めていましたが、あまりに苦痛になったので、他のことに取り掛かりました。完全な応答を得るまでに 11 分以上かかりましたが、その応答には、ネットワーク アドレス変換 (NAT) が複数のデバイスでパブリック アドレスを共有できるようにすることで、IPv4 のアドレス不足による影響を遅らせる方法など、重要な要素が欠けていました。

私のハードウェアでは、長い回答を必要とする広範で複雑な質問に取り組む場合、小規模なローカル LLM は主要なクラウドベースのモデルに匹敵することはできません。これは、ローカル LLM が役に立たないという意味ではありません。正しい方法で使い始める必要がありました。

私は LLM に小さくて単純なタスクを与えます

具体的にすることで大きな違いが生まれます

クレジット: Rawpixel.com/Shutterstock.com

私が抱えていた問題は、強力なクラウドベースの LLM を使用すると、多くの場合、曖昧であっても大丈夫であるということでした。漠然とした焦点の合っていないプロンプトであっても、強力なクラウドベースの LLM がユーザーの意図を推測し、有用な応答を生成できる可能性があります。

地元の小規模 LLM はこれに苦労しています。そのため、ローカル LLM に具体的な指示を含む狭義のジョブを提供することに切り替えました。これにより、プロンプトの実際の意味を理解するのに時間を無駄にする必要がなく、ジョブを続行できるようになりました。

たとえば、ローカル LLM を使用して RSS フィードからニュースを取得し、ニュース レポートに要約します。これは狭くて具体的なタスクです。この情報を取得し、自然言語で要約します。ローカル LLM は、何をしなければならないかを知っており、たとえ生成に時間がかかっても、有用な結果を生成できます。

私がローカル LLM を使用するもう 1 つの方法は、カレンダーのイベントや現在の天気など、ホーム アシスタントから取得した情報を音声による朝のブリーフィングに変えることです。繰り返しになりますが、LLM には明確に定義されたタスクがあります。それは、このデータのコレクションを取得して、それを自然言語のブリーフィングに変換することです。

このようなタスクには明確な境界があり、コンテキストが限られており、予測可能な出力があります。これらの制約があるため、私の小規模なローカル LLM は、私が大きな質問をするよりもはるかに良い仕事をすることができます。非常に詳細なプロンプトを提供することは重要ではなく、狭くて明確に定義されたプロンプトを提供することも重要です。 LLM が解決しなければならない問題が小さいほど、結果の一貫性は高くなります。

ローカル LLM に与えるタスクの選択

努力する価値のないものもある

どのタスクがローカル LLM で処理でき、どのタスクがその能力を超えているかがわかるようになりました。役立つ簡単な質問がいくつかあります。

まず、ローカル LLM を使用する必要があるかどうかを自問します。ローカル AI にはプライバシーをはじめとする多くの利点がありますが、すべての仕事がローカルに留まる必要があるわけではありません。また、その仕事の範囲がどれだけ広いかについても考慮します。それが小規模で狭義の仕事でない場合、それは私の地元の LLM がうまく処理できるものではありません。

ローカルに留まる必要がない、またはローカル LLM で処理するには大きすぎるため、ChatGPT または Claude にまだ与えているタスクがたくさんあります。尋ねるべき適切な質問がわかったので、地元の LLM にできることはたくさんあります。

ローカル LLM に世界を期待しないでください

幸運にも大量の VRAM を備えた強力な AI リグを所有している場合は、クラウドベースの LLM が実行できることの多くを実行できる強力なローカル モデルを実行できます。それ以外の私たちにとっても、期待を適切に設定している限り、地元の LLM は依然として役割を果たすことができます。