ローカル LLM を実行することには多くの利点がありますが、特に重要なのは、すべての個人データを AI 企業と共有する必要がないことです。問題は、かなり小さな LLM でも、私のミニ PC や MacBook Air では動作が遅いことです。それにもかかわらず、私は毎日ローカル LLM を使用する方法がたくさんあります。
朝のブリーフィングの生成
家族にその日の活動を常に知らせる
これは、ローカル LLM の私のお気に入りの使用法の 1 つです。毎朝キッチンに入ると人感センサーが作動し、スマートスピーカーからアナウンスが流れます。これには、子供たちが学校で昼食に何を食べるか、放課後にどのようなアクティビティがあるか、大人のカレンダーに記載されている内容、ゴミを出す必要があるかどうかのリマインダー、簡単な天気予報などが含まれる朝の説明が提供されます。
すべてのデータは Home Assistant のさまざまなソースから取得されます。Home Assistant はそのデータを基本的なテンプレート化されたメッセージに変換できますが、自然言語のブリーフィングに簡単に変換することはできません。そこでローカルの LLM が引き継ぎます。重要な情報は、私のミニ PC 上の Ollama で実行されている Qwen3-4B に渡され、自然言語によるブリーフィングが作成されます。
私のハードウェアでは、ブリーフィングを生成し、テキスト読み上げ (TTS) を使用して音声アナウンスに変換するのが遅くなります。ブリーフィングに含まれる情報の量によっては、完了までに約 10 分かかる場合があります。ブリーフィングは毎日午前 5 時に生成されるため、生成が遅くても問題ありません。そのため、キッチンに入った瞬間からいつでも再生できる状態になっています。
セレロン FCBGA1264 3.6GHz
統合インテル グラフィックス 24EU 1000MHz
Beelink Mini S13 Pro デスクトップ PC は、Intel N150 プロセッサを搭載した超小型コンピュータです。 16 GB の DDR4 RAM と 500 GB SSD が付属するこのマイクロ デスクトップは、さまざまなワークロードに最適です。単純なサーバー プログラムの実行から古い PC の交換まで、Beelink S13 Pro はあらゆる作業をこなします。
一日の始まりは Kindle の要約から始まります
情報を特定の形式に変換する必要がある別の自動化にも同じローカル モデルを使用します。これは、いくつかの RSS フィードからトップ記事を取り出して、Kindle で読めるニュースレターに変換します。
各フィードの上位 3 つの記事が LLM に渡され、LLM はそのうちの 5 つを選択してニュースレターにします。各ストーリーについて数百語の要約を作成し、5 つのストーリーすべてをカバーする TL;DR を作成します。そうすれば、毎日、興味のあるニュースの概要から始めて、興味を持った記事の全文を読むことができます。
書類から個人情報を取り除く
機密情報をクラウドに送信する必要はありません
ローカル LLM を使用して財務データを分析し、潜在的な節約の可能性や浪費している領域を見つけられるようにしてみました。ただし、私のハードウェアで実行できるモデルでは、結果はほとんど役に立ちませんでした。
強力なクラウドベースの LLM は、さらに優れた仕事を行うことができます。問題は、この種の機密データを Claude や ChatGPT にアップロードしたくなかったため、最終的にどこかのサードパーティ サーバーにアップロードされてしまうことでした。
ついに理想的な解決策を見つけました。私はローカル LLM を使用して、名前、場所、口座番号などの機密データをすべて財務書類から削除しました。数回のパスと手動による検証が必要で、機密データが削除されたことに満足したら、安心して情報をクロードにアップロードすると、出費を削減するための有用な提案がいくつか見つかりました。
読むべき本を勧める
チャット モデルは必ずしも必要というわけではありません
私は読書が大好きですが、本当にピンとくるおすすめの本を見つけるのに苦労することがよくあります。 Goodreads のおすすめはほとんどの場合期待外れであることがわかったので、Goodreads の読書履歴に基づいて、独自のローカルおすすめシステムを構築できないか試してみることにしました。
これは、ローカル AI モデルを使用して行った中で最も興味深いものの 1 つです。これは、一般的なチャット モデルをまったく使用していないためです。代わりに、と呼ばれる小さな埋め込みモデルを使用します。 nomic-embed-text 本の説明を数値ベクトルに変換します。これらのベクトルを比較すると、システムは、潜在的な本の提案のベクトルが、私が楽しんだ他の本のベクトルと一致するかどうかを判断できます。
完璧ではありませんが、通常、実行するたびに少なくとも 1 つまたは 2 つの本当に良い提案が見つかります。実行には少し時間がかかりますが、即時の応答が必要なものではないため、応答の遅さは問題になりません。
キッチンを片付けるようにリマインドする
新しいメッセージは無視しにくい
私はスマートホームで音声通知を長い間使用してきました。スマート スピーカーに何かをするようにしつこいように言われるとうまくいきますが、メッセージが毎回同じだと無視しやすくなります。
キッチンの人感センサーのデータを調べたところ、子供たちが学校に行っている間、私または妻が 1 日に約 50 回キッチンに入っていることがわかりました。毎回そこに行くたびに何か一つだけ拾えば、キッチンをきれいに保つのがずっと楽になることに気づきました。
私はローカル LLM を使用して複数の異なるアナウンスを生成し、スマート スピーカーから再生して、キッチンに入るたびに少し片付けるように思い出させます。これらはユーモラスであることを目的としており、さまざまな性格や声で書かれています。話し手が何を言おうとしているのか全く分からないので、これはうまく機能しますが、通常はメッセージが浸透するにはこれで十分です。
私のハードウェアではこれらのアナウンスの生成が非常に遅いため、リスト全体は一晩で生成されます。つまり、キッチンに入ると常に新鮮なアナウンスが流れます。
遅い生成は必ずしも問題ではない
私のハードウェアで実行される小さなローカル LLM は、ChatGPT、Gemini、または Claude の機能に匹敵することはありません。かなり単純なタスクであっても、完了するまでに長い時間がかかります。ただし、多くの場合、すぐに応答する必要はありません。眠っているときにプロンプトを実行すると、必要なときにいつでも応答が得られます。
このテーマについてさらに詳しく知りたい方は以下をご覧ください