LM Studio に代わる 3 つのオープンソースの代替案を試してみました。私がこだわっているのはこれです

LM Studio は、大規模言語モデル (LLM) をコンピューター上でローカルに実行するための人気のあるアプリです。モデルをダウンロードして LM Studio にロードし、チャットを開始できます。 LM Studio が唯一の選択肢ではありません。私は 3 つのオープンソースの代替案を試してみましたが、それぞれが異なる点で役に立ちました。

Jan.ai は最も直接的な LM Studio の代替品です

モデルをダウンロードしてチャットを開始する

LM Studio の直接の同等の代替品を探している場合は、私が試した 3 つの選択肢の中で Jan.ai が最良の選択肢です。まるで適切なデスクトップ アプリのように感じられます。インストールすると、デフォルトの Jan モデルが自動的にダウンロードされ、ChatGPT や Claude と同じようにチャットを開始できました。

最初の応答は、モデルがロードされるときに表示されるまで少し遅かったですが、その後の応答はかなり高速になり、RAM が 8GB しかない私の MacBook Air M2 でさえも動作しました。デフォルトのモデルはほとんど問題ありませんでしたが、Jan.ai アプリの使用方法についてはイライラするほどほとんど知りませんでした。これは私が最初に知りたかったことの 1 つでした。

デフォルトのモデルは一般的なチャットには適していますが、他のモデルをダウンロードして実行することもできます。ハブ内のモデルのリストを参照できます。これは、LM Studio での動作と同様です。 Apple Silicon 用に最適化された MLX モデルのロードに失敗するなど、一部のモデルを適切に実行するのに苦労しました。つまり、モデルを動作させるには、以前のリリースにダウングレードする必要がありました。

LM Studio と同様に、カスタム命令を追加して、チャットボットがどのように応答するかを決定できます。 Jan.ai では、チャット内で呼び出すカスタム指示を持つアシスタントを作成することでこれを実現します。自分のコンピュータ上で実行するローカル チャットボットをセットアップするかなり簡単な方法が必要な場合は、Jan.ai が確実な選択肢です。

Ollama はホームサーバーに最適なオプションです

AI アプリというよりはインフラストラクチャです

Ollama は、Jan.ai や LM Studio とはまったく異なります。アプリを起動すると、見覚えのある AI チャットボット インターフェイスが表示されますが、実際の機能は著しく欠けています。メニューには、[新規チャット]と[起動]の 2 つのオプションがあり、チャット ウィンドウには、ダウンロード可能な少数のクラウド モデルを含むドロップダウンがあります。

リストされているダウンロード可能なモデルはすべて、8GB RAM を搭載した私の M2 MacBook Air で動作するには大きすぎたため、このアプリはそのままでは、ローカル LLM を実行するのには事実上役に立ちませんでした。アプリのモデル管理には制限があります。さらに多くのことを実行したい場合は、コマンドライン インターフェイスを使用することをお勧めします。

他のモデルをターミナルにインストールして Ollama アプリで使用したり、ターミナルで直接チャットしたりできますが、これは Ollama の本当の目的ではありません。これは主にチャットボット アプリとして意図されたものではありません。これは、ローカル API を使用してアクセスできるローカル モデルを実行および管理するためのツールです。

Ollama を使用して Mac 上でローカル LLM を実行し、他のアプリやサービスと通信させることができます。たとえば、Ollama で実行されているローカル LLM をホーム アシスタントの会話エージェントとして使用すると、データを自宅から持ち出すことなく、音声アシスタントに AI を活用した機能を効果的に与えることができます。

AnythingLLM はドキュメントの操作に最適です

メモやファイル用のプライベート アシスタントを作成する

AnythingLLM は、ローカル LLM を使用するもう 1 つの方法です。 AnythingLLM の主な焦点は、独自のドキュメントやデータを操作できるアシスタントの構築を支援することです。その中核機能には、PDF、Word 文書、テキスト ファイルなどのファイルをアップロードし、その内容についてチャットボットと会話できるローカル検索拡張生成 (RAG) が含まれています。

たとえば、ゲーム「Settlers of Catan」にルールをアップロードすると、最大の軍隊を持つことで獲得できる勝利ポイントの数や、道路の建設に必要なリソースなど、チャットボットに質問できるようになり、PDF から情報を引き出すことができました。問題は、私の Mac では応答が非常に遅く、単一の PDF を検索するだけだったということでした。ドキュメントが増えると、私のハードウェアではすぐに使用できなくなります。

AnythingLLM はクラウドベースのモデルでも使用でき、モデルを組み合わせることができます。たとえば、ローカル LLM を使用して銀行取引明細書から個人情報を編集し、クラウド モデルを使用してそれらを分析することができます。これには Web スクレイピング機能もありますが、Deku Deals からゲームの最新セールを見つけようとすると、それはできないときっぱり言われました。

アプリを使用するときに呼び出せるポップアウト アシスタントもあり、使用しているアプリのスクリーンショットを撮って、それについて質問できるようにします。私のMacBook Airでは、遅すぎて使い物になりませんでした。もっと優れたハードウェアを持っていれば、AnythingLLM がどれほど役立つかがわかるのですが、私の Mac ではその役目を果たしていません。

オラマと付き合ってるよ

これは真の LM Studio の代替品ではありません

3人全員に得点を与えたが、私が固執するのはオラマだ。モデルを簡単にロードしてチャットを開始できるという点では、おそらく LM Studio に最も似ていませんが、私が必要とするものには最も便利です。

基本的に、料金を支払うことなく LLM に API アクセスできるようになります。かなり軽量なモデルしか使用できませんが、それでもいくつかの便利な機能を実行できます。たとえば、n8n オートメーションでこれを使用すると、データがローカル ネットワークの外に公開されることを心配することなく、オートメーションに渡すデータを Notion データベースに送信する前にクリーンアップできます。

ローカル LLM はプライバシーの天の恵みです

そこそこのハードウェアしか持っていない場合、ローカル LLM は一般的なクラウドベースの LLM のパフォーマンスに匹敵することはできません。ただし、権力によって失うものは、プライバシーによって得られます。