オープンソース AI を使用して研究ワークフローを自動化し、ついにデータを所有できるようになりました

オンライン AI サービスは、長い文書を検索して解析するための優れた方法ですが、いくつかの欠点があります。あなたのデータは他の人によって保持されており、アクセスするにはトークンを使い果たすかサブスクリプションが必要で、それが動作するにはインターネット アクセスが必要です。ローカルのみのアプローチに切り替えることで、機密文書が誤って漏洩することがなくなり、クラウド モデルのトレーニングに個人データが使用されているかどうかを心配する必要がなくなります。

ローカルでの調査ワークフロー

収集、要約、埋め込み、取得をすべてローカルで行う

私がローカル AI 研究アシスタントの作成に着手したとき、目標は、AI が「知っている」ことに依存するのではなく、一連の情報を収集し、AI を使用してそれをふるいにかけられるようにすることでした。

特定のリソース (PDF など) が収集されると、ローカル モデルがきちんとした概要を生成し、ハイライト、ソース、関連する質問を自動的に抽出します。その後、ドキュメントが埋め込まれ (ドキュメントを分割してベクトルに変換するプロセス)、AI が文字通りのキーワード一致ではなく、意図や意味論的な意味に基づいて簡単に検索できるようになります。

すべてが起動して実行されると、セットアップ全体が私個人の NotebookLM のように機能するようになります。

ソフトウェアのセットアップ

推論用の Ollama、小さな埋め込みモデル、および RAG

このセットアップには、推論層、埋め込みモデル、検索拡張生成 (RAG) をサポートする LLM という 3 つの主要な部分があります。

Ollama を推論層に使用したのは、llama.cpp のセットアップ プロセスが大幅に簡素化されるためです。これにより、膨大な範囲の AI モデルを取得し、1 つまたは 2 つのコマンドで実行できるようになり、使用したいモデルのほとんどと互換性があります。

埋め込みプロセスを処理するために、現在、EmbeddingGemma を試しています。主な制限は、画像を処理できないことです。画像を処理する必要がある場合、または単に他のことを試してみたい場合は、Qwen3-VL-Embedding が適切な選択です。どちらにも、最新の GPU で実行できるほど小さいバリアントがあります。今のところ、エンベッダーを手動で切り替えていますが、最終的には、新しいファイルが追加されるたびに自動的に実行されるウォッチャー プロセスを作成する予定です。

インターフェイスは好きなものにできます。AnythingLLM と Open WebUI は、退屈な作業のほとんどを舞台裏で処理してくれるため、簡単で人気のある選択肢です。今のところAnythingLLMを使用しています。

ローカルデータベースはプライベートで安価です

RAG でのトークンの無駄遣いをやめる

ある種のクラウドベースの AI サービスにお金を払っている場合、それが固定サブスクリプションであろうと、従量課金制であろうと、ローカルで無料でできることにお金を費やすのは意味がありません。

すべてが稼働したら、継続的にかかるコストは電気代だけです。もちろん、ハードウェアによる制限もあります。適度に強力な GPU を搭載している場合、ローカル AI はかなり高速になります。 CPU のみを使用している場合は、次のようになります。 多くの もっとゆっくり。

デスクトップに限定されません。ネットワーク上のどのデバイスでもアクセスできるように Ollama を設定しました。つまり、ラップトップまたは携帯電話を接続するだけで済みます。結果は、5070 Ti でセットアップの「頭脳」を実行するゲーミング PC との間で送受信されます。

プライバシーはそれほど問題ではありません

AI は多くの点で優れていますが、クラウド モデルをプライベートなものとして扱うことはできません。大きな問題がいくつかあります。

1 つ目は基本的なものです。AI サービスに何かをアップロードすると、それは不定の期間 Web サーバーに保存されます。何か問題が発生して AI 企業が侵害された場合、あなたのファイルも侵害される可能性があります。

もう一つの問題はトレーニングです。主要な AI プロバイダーのほとんどでは、会話での新しい AI のトレーニングをオプトアウトできますが、その設定を誤って有効にしたままにすることが簡単にあります。次のようなファイルを操作している場合 法的に 秘密にしておく必要がある場合、それは受け入れられない可能性があります。

誤って共有してしまうという問題もあります。 ChatGPT と Claude はどちらも、検索エンジンが会話のインデックスを作成できるように機能します。つまり、理論的には、誰かが Google や DuckDuckGo からあなたの共有会話にたどり着く可能性があります。

生の推論の品質と速度は少し悪い

パフォーマンス上の主な欠点は推論です。フロンティア モデルは通常はクラウドのみであり、難しい分析的な質問を与えられた場合、小規模なローカル モデルよりも思考と合成が得意です。

ローカル AI に大量の文書を渡して、新しい科学的結論を導き出すことを期待することはできません。ボトルネックが多すぎます。

---

私のすべての AI プロジェクトの研究に活用されています

私のアーカイブはまだ始まったばかりですが、音声ベースの AI アシスタントにも統合しました。つまり、ダウンロードして追加したものはすべて、話しかけることでアクセスできるということです。

全体のセットアップは非常に未来的な感じがします。私は座って、Discord ボットまたはホーム アシスタントに、私が提供した特定の調査について質問することができます。そうすれば、彼らはそれについてリアルタイムで私に話してくれます。その後、コンテンツに関する質問に有機的に答えることができます。