私はローカル LLM を 5 つの日常タスクでテストしましたが、実際に実行する価値があったのは 1 つだけでした

私はローカル LLM を日常的に使用していますが、私の個人的な設定では、ローカル LLM は限られたタスクでしか役に立ちません。ローカルの LLM が日常のタスクをどのように処理できるかを見てみたいと思いました。 LLM を実行するための私にとって最も強力なデバイスは、RAM が 8GB しか搭載していない M2 MacBook Air です。そのため、より強力なハードウェアではさらに多くのことが可能ですが、これらの結果は、同様のハードウェアで実行できることとほぼ一致するはずです。

幅広い質問に答える

応答は非常に遅く、間違っていることもよくあります

ローカル LLM で陥りやすい間違いは、ローカル LLM を ChatGPT、Claude、または Gemini のように扱うことです。これらの強力なモデルを超高速ハードウェアで実行すると、漠然とした自由回答の質問をする余裕ができ、モデルはユーザーの意味を推測して、ほぼ瞬時に表示され始める有用な答えを提供できます。

これは、私のハードウェア上のローカル LLM の場合とは大きく異なります。これらすべてのテストには、Ollama で実行されている Qwen3.5 4B モデルを使用しました。これは、かなり有能なモデルですが、限られたハードウェアで実行できるほど十分小さいためです。私は、「IPv6 について説明してください」というかなり幅広い質問をしました。応答が信じられないほど遅く、完了するまでに 30 秒以上かかりました。また、IPv6 アドレスの実際の値が約 10^38 ではなく、約 10^58 個あると述べているなど、事実の不正確さも含まれていました。

このような広範な質問に答えることになると、地元の LLM はその仕事にまったく対応できませんでした。さまざまなモデルを試すこともできますが、小規模なモデルはより迅速に応答できますが、事実上の間違いを犯す可能性がさらに高くなります。

完全な記事を書く

与えられたものを直すより早く書ける

作家として私が常に懸念していることの 1 つは、AI によって私が仕事を奪われるのではないかということです。 LLM はテキストを書くことができ、トレーニング データには同様の記事の例が豊富にあります。私は、地元の LLM が 800 ワードの完全な記事を書くのに妥当な努力をすることができるかどうかを確認したかったのです。

ローカル LLM に次のプロンプトを与えました。

Write an approximately 800-word technology article with the title:

"5 Things Every New Home Assistant User Should Do First"

Requirements:

- Write in an engaging, conversational style.
- Include an introduction.
- Include five H2 section headings.
- Each section should explain one practical tip with examples where appropriate.
- Finish with a conclusion.
- Do not use bullet points except where absolutely necessary.
- Aim for around 800 words.

実際、応答は驚くほど早く生成されました。この記事の作成には 1 分強かかりましたが、800 ワードの制限を約 200 ワード超過しました。ただし、品質にはまだ改善の余地がありました。

長すぎるだけでなく、いくつかの書式設定指示が無視され、要求された結論が完全に省略され、非常に繰り返しが多く、いくつかの事実上の誤りが含まれていました。当然のことながら、文章も冗長すぎて、まるで AI が書いたかのように聞こえました。すべての問題を解決するには、最初からすべてを自分で書くよりも時間がかかります。

長い文書を要約する

地元のLLMは実際には妥当な仕事をした

ChatGPT やその他のクラウドベースのチャットボットは、長い文書を取得して正確に要約することに優れています。チャットボットが巨大なファイルに関する質問にほぼ瞬時に回答を開始し、まるで 1980 年代の映画でロボットが辞書を高速でめくり、フランス語を話せるようになった旨を発表するかのように、あたかもすでに情報を「読んでいる」かのように感じさせる方法にはいつも驚かされます。

次のプロンプトを使用して、約 3,000 ワードの長さのドキュメントのページを貼り付けました。

Summarize the following Home Assistant documentation.

Your response must include:

1. A one-paragraph executive summary.
2. Five key takeaways.
3. The most important security warnings or risks.
4. Any important conclusions or recommendations.

Keep the complete response under 600 words. Base the summary only on the supplied document. Do not add information that is not present in the document. Clearly distinguish between configuring Home Assistant's HTTP server and creating HTTP-based sensors or binary sensors.

DOCUMENT:

<<>>

実際、ローカル LLM は、長いドキュメント ファイルを要約するという合理的な仕事をしました。主要なトピックを抽出し、指示に従って、最も重要なセキュリティへの影響を発見しました。少し冗長になり、出力制限に達しましたが、少し調整することで有益な結果が得られる可能性があります。

最大の問題は、完成した概要を生成するのに 1 分もかからないことでした。ただし、急いでいない場合は、比較的小規模なローカル LLM であっても、長い文書を要約するのにそれなりの仕事をできる可能性があります。

スマートホームの音声アシスタントとして機能

応答速度が遅すぎる

これは、私のハードウェア上で実行されるローカル LLM が実行できることを本当に望んでいたことでした。これにより、Alexa や他のクラウドベースの音声アシスタントに匹敵する完全なローカル音声アシスタントを使用できるようになるからです。

ホーム アシスタントには、LLM を必要とせずに、組み込みの文パターンを事前定義されたインテントと照合できる、Assist と呼ばれる音声アシスタントがあります。ただし、完璧ではありません。 Assist にライトを消すように依頼すると、それは事前定義されたコマンドの 1 つであるため、ほぼ即座に行われます。その後、「もう一度電源を入れてください」と言うと、どのデバイスについて話しているのかがわからないため、失敗します。

OpenAI などの AI サービスにシステムを接続することで、システムをさらにスマートにすることができます。これにより、自然言語を使用して、音声コマンドの意図を LLM に理解させることができます。 Assist をクラウドベースの LLM に接続すると、機能が大幅に向上しますが、その LLM によって処理されるコマンドはサードパーティのサーバーに送信されるため、Home Assistant のプライバシー最優先の性質に反します。ローカル LLM がこの問題を解決できる可能性があります。

Ollama 統合を使用してローカル LLM を Home Assistant に接続し、Assist の会話エージェントとして設定しました。私はアシストに学習用ライトを消すように頼んだが、それは消えた。次に、「もう一度オンにしてください」とお願いすると、最終的にライトは再びオンになりましたが、何かが起こるまでに 21 秒かかりました。

言い換えれば、地元の LLM は、私が「もう一度オンにして」と言ったときに、文字通り消灯したばかりのライトのことを言っているのだと理解するのに 3 分の 1 を要しました。これは実際のスマートホームでは役に立たないほど長すぎます。完了するまでに 20 秒かかる音声コマンドは誰にも役に立たず、より複雑なリクエストにはさらに時間がかかる可能性があります。

コーディングアシスタント

LLMは良い反応から自らを主張した

Codex や Claude Code などの強力なツールにより、ほぼ誰でもコードを作成できるようになりました。ローカル LLM がコーディングを支援する便利なツールとして機能するかどうかを確認したかったので、問題を特定できるかどうかを確認するために、でっち上げた Python エラーを与えました。

問題は私にあったことが分かりました。私が受け取ったと述べたエラー メッセージは、プロンプトに貼り付けたコードでは表示できませんでした。 LLM は当初エラーを誤診断していましたが、その後、私が受け取ったと主張したエラーは不可能であることに気づきました。

しかし、その後、説明を求めたり、本当のエラーが何であるべきか、そしてそれを修正する方法を説明したりする代わりに、モデルはトークンがなくなるまで再推測のループにはまってしまいました。

応答が得られるまでに40秒かかりましたが、まったく役に立ちませんでした。コーディングを支援するためにローカル LLM を使用することは当分ありません。

地元の LLM は適切な仕事を適切に実行できます

これらの例の多くでは、ローカル LLM は遅すぎるか不正確すぎて役に立ちませんでした。だからといって、LLM が良い仕事をできないと言っているわけではありません。毎朝早朝に行う音声による朝のブリーフィングの生成など、速度の遅さが大きな問題にならないケースはたくさんあります。適切なタスクであれば、小規模なローカル LLM であっても仕事を行うことができます。