ローカル AI を使用して古い PC ハードウェアを最大限に活用する 5 つの方法

古いコンピューター (ラップトップでも) が何もせずに放置されている場合は、代わりにそれをローカル AI に使用できます。私は、さまざまな AI タスクを常に実行している 2 台の古い PC を持っています。1 台は古い HP ラップトップで、もう 1 台は Ryzen 1600X、24 GB の VRAM、RTX 3060 を搭載した引退したゲーム PC です。

ローカル AI を選択的に使用することで、クラウドに送信する情報を制御し、特定のニーズに合わせてカスタマイズされた AI を作成し、毎週のクロード割り当てを使い切ることを回避できます。

セットアップの中心となるのは Ollama です。これにより、ローカル ネットワーク上ですべての AI モデルにアクセスできるようになります。そこから、他のデバイスやサービスがラップトップやゲーム用 PC に到達し、それらを小型 AI サーバーとして使用できます。

この種の再利用されたハードウェアで実行できるモデルの種類は、巨大なフロンティア モデルほどスマートでも機能でもありませんが、少し慎重に計画すれば実行できます。 非常に 日常的に役立ちます。

AI Discord ボットを作りました

わずか 6GB の RAM で実行可能

私の最初の大きなローカル AI プロジェクトは、ローカルの Discord ボットでした。音楽を再生したり、ボイスチャットで質問に答えたり、さまざまなトピックについてチャットしたり、調べたり、Wiki として機能したりすることができます。これは、市販の音声アシスタントよりもはるかに賢いのですが、要求が非常に高いという問題が 1 つありました。 Discord ボットのフルバージョンが必要です 二 Blackwell GPU の可能性を最大限に発揮します。

それ以来、私は Chad という名前のよりスリムなバージョンを作成しました。これは、控えめなゲーム用 PC でも問題なく動作します。これには 3 つの基本的な部分があります。

• Whisper — 音声をテキストに変換します。

• Llama3.2b — カジュアルな音声コマンドを解析し、事前定義されたコマンドのリストにマップします。

• 小諸 — 命令に大声で答える。

これら 3 つのコンポーネントの間では、Chad は、Discord に Alexa が常に座っているように感じます。 それなし プライバシーへの影響。たとえば、「レッド・ツェッペリンをキューに入れて」と言うと、それが「レッド・ツェッペリンをかけて」という意味だと認識しますし、「この曲は気分じゃない」と言うと、「スキップ」という意味だと認識します。

できる：

• 音楽を再生する

• 音楽キューを管理する

• ランダムな数字を振るか、ランダムな人を選びます

• コマンドで音声クリップを取得

• 投票を実行する

ささやきは完璧ではありません。私が実行している大規模な AI Discord ボットでは、代わりに Parakeet を使用しており、精度が中程度向上しています。 Llama3.2b も時々間違ったことをしますが、完全に音声制御される Discord ボットの代償としては小さなものです。また、よりインテリジェントな会話脳を実現するために、より大規模な Qwen モデルも実行します。

写真の自動タグ付けと検索

Immich は素晴らしい個人的な写真リポジトリを作成します

Immich は、Google フォトに代わる無料のオープンソースです。適切なハードウェアを持っていれば、顔認識と AI を活用した検索がサポートされているため、自然言語を使用して特定の人物や場所を検索できます。

AI 機能には互換性のある GPU が重要です。写真の大規模なライブラリのインデックス作成には十分な労力が必要であり、その上でローカル AI を CPU 専用モードで実行しようとすると、永遠に時間がかかります。

そのため、24 時間年中無休で稼働させたくない高出力デバイスで Immich を実行するのではなく、古いゲーミング PC で AI コンテナーを実行するだけです。 RTX 3060 がアクティブな間、Immich は AI ジョブに RTX 3060 を利用できます。オフラインになっても、Immich は通常の写真ライブラリとして機能し、RTX 3060 がすでに行っていた機能に頼ることができます。

それでも、30,000 枚の写真 (私の携帯電話にある写真とほぼ同じ枚数) をインポートする場合、たとえ高性能の PC であっても、しばらく時間がかかることが予想されるはずです。

スキャンした文書の分類と名前付け

Paperless-ngx で山ほどの書類手続きがなくなる

たとえ「必要」ではないとしても、私は重要な書類のほとんどを保管します。残念ながら、それはまた、膨大なバックログを抱えていることを意味します 年。 ここ 1 年ほど、私はこれを Paperless-ngx サーバーに徐々に追加してきました。これは、ドキュメントの内容に基づいてドキュメントを検索できるデジタル リポジトリとして機能します。

最近、Paperless-ngx にはローカル AI 機能も統合されました。 AI を使用して、アップロードするドキュメントにタイトル、タグ、日付を付けることができるようになりました。すべてローカルで実行されるため、税務書類やパスポート申請書が Web に漏洩することを心配する必要はありません。すべては私自身のサーバー上で安全に保護されています。

。

スマートホーム用のローカル音声アシスタント

AI Discord ボットと音声アシスタントはよく似ています

クレジット: Justin Duino/How-To Geek

何らかの種類の AI アシスタントを実行している場合、通常、それを Alexa の代わりに変えるのは非常に簡単です。

私の場合は、軽量の Discord ボット Chad をホーム アシスタントとしても機能するように調整しました。 AI コンポーネントはすべてまったく同じままでした。音声をテキストに変換するために Whisper を使用し、自然言語を解析してコマンドに変換するために llama を使用し、そして声に出して私に返信するために komoro を使用します。

更新する必要があっただけです ボット、 スマート ホーム セットアップのさまざまな部分を制御するには、ホーム アシスタントとインターフェースする必要があります。現在、音声アシスタントは照明を制御したり、アラームやタイマーを設定したり、いくつかのアプリからの通知を読み上げたりすることができます。古いラップトップで実行されているため、応答に少し遅れがあります。任意の RTX GPU で実行できれば、リアルタイムに非常に近くなるでしょう。

次のアップグレードでは、Mealie と統合され、料理中にレシピに関する質問に答えたり、衛星の使用が可能になったりするので、家のどの部屋でも使用できるようになります。

ネットワーク上のあらゆるデバイスのスクリーンショットヘルパー

手間いらずの AI ラベル付け

私はデスクトップ、ラップトップ、携帯電話の間で頻繁に仕事をしています。私のデスクトップでは、スクリーンショットを撮ると自動的にラベルを付ける小さなローカル AI を実行しています。しかし、私の携帯電話とラップトップにはその機能がありません。

携帯電話やラップトップでの作業を軽減するために、スクリーンショットを撮るときに自動的に分析して名前を変更する小さな AI モデルをセットアップしました。そうすれば、後で必要になったときに、1,000 枚のスクリーンショットをスクロールする必要がなく、代わりにアプリとそのアプリを見つけるために何をしていたかを検索するだけで済みます。

時々間違いを犯すこともありますが、今では私のワークフローの貴重な一部となっており、いつでも使用できます。 どれでも ネットワーク上のデバイス。

古い PC は AI に最適

古い PC (ラップトップであっても) が AI にとって非常に役立つ可能性があります。秘訣はAIの仕事を維持することだ 集中した。 16 GB の RAM と個別の GPU を搭載していないラップトップで 270 億のパラメータ モデルを使用しないでください。トラブルを招くだけです。

ただし、CPU 上で実行するように最適化されたいくつかの 3 ～ 5B パラメータ モデルは完全に合理的です。ほぼリアルタイムで実行するモデルがいくつかあり、基本的に一晩実行し続けるように設計された他のいくつかの大きなモデルもあります。

専用の GPU を搭載した古いデスクトップをお持ちの場合は、さらに多くのオプションがあります。多くの場合、少数の小規模な AI モデルをリアルタイムよりも高速に実行したり、1 つの中程度のモデルをリアルタイムで実行したりできます。 CPU オフロードと処理時間の低下を許容できる場合は、Qwen 3.8-27B のようなモデルを実行することもできます。これは、そのサイズの割には素晴らしいコーディングおよび推論モデルです。