機密ファイルの処理に Claude の使用をやめ、代わりにローカル モデルに切り替えました。

クラウド AI サービスにファイルをアップロードするたびに、クラウド AI サービスがその情報を責任を持って管理してくれると信頼することになります。医療データ、財務記録、生活に関する個人情報、その他の機密情報について話している場合、それは大きな質問です。

幸いなことに、最近では、ある程度のゲーミング PC を所有していれば、クラウド AI サービスにそれほど依存する必要はありません。

信頼できる会社であっても地元の方が良い

AI企業は非常に貴重なターゲットです

たとえ大手 AI 企業があなたのデータに対して奇妙なことや極悪なことをするつもりはないと完全に信じていたとしても、彼らはまったく別の種類のリスクをもたらします。つまり、彼らは非常に儲かるターゲットなのです。

大手 AI 企業には、次のような機密情報が異常に集中しています。 何百万もの 医療および財務データ、個人的な考え、アイデアなどを含む人々のデータ。誰かが Anthropic または OpenAI を壊滅的に侵害した場合、それは歴史上最も重大なデータ侵害の 1 つとなるでしょう。そうではありません おそらく—これらの企業は、あらゆる分野で最高の人材を雇用する余裕がありますが、リスクは決してゼロではありません。

さらに、政策変更も起こります。サービス利用規約と保持ポリシーが変更されます。今日の約束は、10 年後にデータがどのように扱われるかを保証するものではありません。

一方、マシンの外に決して出ないファイルには、そのようなリスクはありません。唯一の攻撃ベクトルは、最初からすでに大量のデータを保存している自分のコンピューターです。

ローカルAIに使用するモデル

Qwen3.8-27B は実質的に天才です

スタート地点をお探しの場合は、Qwen3.8-27B が最適なモデルです。最近（2026 年 8 月）のことですが、 信じられないほど そのサイズに見合った能力。

一部の古いモデルと比較した最大の利点の 1 つは、ネイティブの画像とビデオの処理です。事前にモデル用に変換するための別の OCR プログラムを必要とせずに、スキャンした文書や写真を渡すことができます。それをネイティブに処理できます。

また、理論的には最大約 262,000 トークンという巨大なコンテキスト ウィンドウもありますが、実際のパフォーマンスはその制限に達するかなり前に低下します。

さまざまな量子化が利用できるため、17 GB のストレージを使用するだけで、非常に高性能な AI を PC 上で実行できます。

Qwen 3.8-27B はほとんどの最新のゲーム PC で動作します

既存のハードウェアで十分かもしれません

32 GB の RAM と 12 GB または 16 GB GPU を備えた一般的なゲーム ビルドをお持ちの場合は、27B モデルを 4 ビットで実行できます。その量子化では、モデルは VRAM とシステム RAM の間で分割されます。これは、クロードのほぼ瞬時の速度ではなく、人間の読書の速さとほぼ同じペースで生成が行われることを意味します。速度は遅くなりますが、契約書のレビューや明細分析には十分な機能があり、データが PC から流出することはありません。

モデル全体を 24GB GPU で実行できます。中古の RTX 3090 を見つけることができれば、これが現在ローカルで 27B パラメーター モデルを実行する最もコスト効率の高い方法です。購入する GPU に VRAM がまだ搭載されていることを確認してください。 VRAM のためにそれらを剥ぎ取り、Facebook マーケットプレイスに 150 ～ 300 ドルで投げ捨てる人が驚くほど一般的です。

私自身の PC には、16 GB の VRAM と 32 GB のシステム RAM を備えた RTX 5070 Ti が搭載されており、オペレーティング システムのオーバーヘッドを考慮すると、AI が使用できる合計 40 GB が利用可能になります。

幸いなことに、それで十分です。

Cherry Studio で Qwen 3.8-27B-q4 を起動して、そのペースを試してみました。私は合成健康記録、企業とベンダー間のサンプル契約書、離婚合意書を提供し、見つけた内容についてクイズを出し始めました。

私のテストにより、いくつかの重要なことが明らかになりました。大きな点は、Qwen 3.8 27B-q4 は特に幻覚を起こしにくいということです。私が提供したファイルの具体的な詳細について尋ねたところ、何も間違って引用していませんでした。特定の条項を抽出し、医療データの異常な値にフラグを立て（合成健康記録にフラグが付けられます）、誰が特定の夫婦の資産を取得しているのかを正確に知らせることができました。

少し遅かったです。最も長い文書は契約書で、約 40 ページありました。答えを考えるまでに多くの時間を費やしますが、何らかの一括処理を設定していれば、それはまったく問題になりません。コーヒーを淹れている間、そのまま置いておくこともできます。

唯一の本物 限界 それは、思考トークンがドキュメントとコンテキスト ウィンドウを共有するということです。これにより、非常に大きなファイルの場合はメモリの問題が発生する可能性があります。

クロード 知っています もっとずっと

ローカルモデルは賢いが無知だ

ローカル モデルはドキュメントの読み取りには優れていますが、クラウド モデルは依然として優れています。 知識。 たとえば、私の合成健康記録には AST が上昇していましたが、これは肝臓の問題の潜在的な兆候です。

Qwen 3.8-27B は、AST 値を教えてくれたり、それを過去の傾向と比較したりするのに完璧な機能を備えていましたが、それは何でしょうか。 できませんでした do は、人間の健康という文脈でそれを有意義に解釈することです。 「ALP と ALT が正常な場合に AST が上昇することは何を意味するのか」という質問は、WebMD の調査にあまりにも多くの時間を費やすと尋ねたくなるかもしれませんが、クロードなら合理的に答えられるでしょうが、クウェンは答えられませんでした。

同様に、クロードは離婚法についてもっとよく知っているようです。 あらゆる管轄区域 クウェンよりも。

言い換えれば、Qwen は実際にデータを抽出することに優れており、 推論、 しかし、世界についてはあまり知りません。これは、IQ 200 で文法が完璧な 5 歳児と会話するようなものです。

---

機密データをローカルに保管

適切なハードウェアと適切なローカル モデルがあれば、クラウドベースの AI サービスに触れることなく、あらゆる種類の情報を分析できます。おそらく今後数年で改善されるでしょう。フロンティア モデルはここ数年でその機能において目覚ましい進歩を遂げており、同じ傾向がローカル モデルにも当てはまります。

初期のローカル AI モデルは、一貫した文章を組み立てることがほとんどできず、ましてやユーザーが提供したものを正確に分析することはできませんでした。現在、ChatGPT の最初の公開リリースに恥じないような、ゲーム PC 上で動作するモデルが少なくとも 12 種類あります。