クロードはあなたのコンピュータを乗っ取ろうと本気で考えています。 Anthropic は、コンピューターの使用と呼ばれる新機能をリリースしました。これにより、Mac のキーボードとマウスを制御してユーザーに代わってタスクを実行できるようになります。これは、2024 年に初めて予告された後、最終的に Claude Pro および Max サブスクライバー向けの Research Preview として展開されます。
コンピューターの使用機能は、Claude Cowork や Dispatch などの最近追加された機能に基づいて構築されています。 Claude Cowork は、Mac 上で (ただし、ネイティブ機能と macOS 統合を使用してバックグラウンドで) タスクを実行できるツールです。Dispatch は、Mac がオンラインである限り、iPhone または iPad (Claude の OpenClaw の限定版) から Claude Cowork を制御できる新しいリモート アクセス機能です。
クロードの新しいコンピューター使用機能の仕組み
名前が示すように、コンピューター使用機能が有効になると、クロードが画面を完全に占有します。 Computer Use は Claude Cowork と Claude Code の両方で動作しますが、私は Cowork でのみテストしました (少なくとも私はまだバイブコーダーではないため)。カーソルを移動したり、キーボード入力を使用したり、ファイルを移動したり削除したり、何でもできます。ファイルを開いて読み取り、ファイルの内容に基づいてアクションを実行できます。もちろん、これは重大なセキュリティ リスクです。即時インジェクションの可能性が生じ、巧妙に隠された悪意のあるコード行が AI アクションをハイジャックし、個人データを危険にさらす可能性があります。
Anthropic は、迅速な注射を防ぐためにガードレールを作成したと述べていますが、AI モデルは動きが非常に速く、幻覚を見る傾向があるため、Anthropic の言葉をそのまま受け入れるのは困難です。ありがたいことに、クロードは新しいアプリにアクセスする前、およびファイルを削除する前に常に許可を求めます。
良いニュースは、クロードがコンピュータの使用を最後の選択肢として扱っていることです。 Claude Cowork または Claude Code でタスクを与えると、まず MCP コネクタを使用してタスクに取り組もうとします。クロード・コワークに上司にメールを書くように頼んだとします。まず、Gmail コネクタを使用して電子メールの下書きを作成します。ただし、MCP コネクタには制限があります。彼らはすべてを行うことはできません。たとえば、Gmail の統合では、実際にメールを送信することはできません。ボタンをクリックする必要があります。
クレジット: Khamosh Pathak
ここで、Claude のブラウザ統合が登場します。Claude は、Chrome での処理を引き継ぐことができるかどうかを尋ねます。 Claude for Chrome をインストールして有効にしている場合は、関連するタブ グループが自動的に作成され、適切な Web サイトが開き、タブが引き継がれ (Claude によって制御されているタブの周りに光るライトが表示されます)、送信ボタンが押されます。完了したら、それらのタブも閉じることができます。
クレジット: Khamosh Pathak
クロードのブラウザ使用機能は、私にとって最良の使用例であることがわかりました。また、おそらく他のヘビー コンピュータ ユーザーにとっても最良のものとなるでしょう。別のテストでは、クロードに Techmeme にアクセスし、トップ 5 のニュース記事の概要を作成し、それを Markdown ファイルに変換してローカルに保存するように依頼しました。私が Obsidian で書き続けている間、これらすべてが Chrome のバックグラウンドで実行されました。すべての投稿をうまく要約できたので、結果を読んで、将来の参照のためにファイルを保存することができました。
コンピューターの使用が耐え難いほど遅くなる場合がある
先ほども述べたように、コンピューターの使用機能は最後の手段です。 Apple 独自のカレンダー アプリを使用してカレンダーの予定を作成するように要求したとします。ここには MCP サーバーはありません (Google カレンダー用にはありますが)。そこで、代わりに、クロードは、コンピューターを乗っ取ってもいいかと尋ねます。
クレジット: Khamosh Pathak
ただし、その前に、クロードにマウスとキーボードの制御のためのアクセスと、進行中に画面のスクリーンショットを撮れるように画面録画へのアクセスを許可する必要があります (これが、クロードが実際に何をすべきかを知る唯一の方法です)。次に、特定のアプリへのフルアクセスを要求されます。良い点は、これが起こっているときは他のすべてのアプリやウィンドウが非表示になるため、たとえばクロードが不正行為を行って Word 文書を台無しにする可能性が低くなるということです。
それからクロードは仕事に取り掛かります。見慣れた光るエッジと、クロードが取ろうとしているすべての手順を示す小さなウィンドウが表示されます。
クレジット: Khamosh Pathak
あなたがクロードに何を求めているかを考えると、これは見ていて興奮するかもしれないし、耐え難いかもしれません。 Claude のブラウザ自動化機能とは異なり、ユーザーが行うことは何もありません。クロードが画面全体を占領しました。これはこの機能の最大の制限であり、おそらくクロードがローカル タスクを実行するために仮想環境をセットアップした場合にのみ修正されるでしょう。
クロードがコンピューターを乗っ取ると、実際にコンピューターが乗っ取られます。あなたは締め出されています、座っているアヒル。新しいカレンダーの予定を作成するように依頼したとき。それがリアルタイムで起こっているのを見るのは非常に興奮しました。わずか30秒ほどかかりました。もちろん、これほど単純なタスクなら、私自身でももっと早く実行できたはずです。実際、クロードはそのタスクをランダムなカレンダーに追加しましたが、私はそこに専用の「F1」カレンダーを用意しています（自尊心のあるスポーツファンならそうするでしょう）。クロードにイベントの移動を依頼すると、応じてくれましたが、さらに 30 秒かかりました。全体として、概念実証としては優れていますが、日常生活で使用するものではありません。
これまでのところどう思いますか？
クレジット: Khamosh Pathak
Claude Cowork を使用して最近のスクリーンショットを別のフォルダーに移動しようとすると、事態は耐え難い領域に達しました。ダウンロード フォルダーと Finder アプリへのフル アクセスを許可した後でも、デスクトップ フォルダーに実際に移動して最新のスクリーンショットを見つける方法がわかりませんでした。 1 ～ 2 分後、Finder の[フォルダへ移動]機能が開き、デスクトップ フォルダのパスを手動で入力しました (少なくとも誰かが、この過小評価されている便利な機能を使用しています)。そこで私の忍耐力が限界になり、その作業をやめました。
そして、これがクロードのコンピューター使用機能に関する私の中核問題です。ファイルの移動、画像のサイズ変更、ドキュメントの変換、カレンダーの予定の追加、調査結果の編集など、私が Mac で定期的に行うタスクに関しては、基本的に AI モデルを使用してスクリーンショットを 1 枚ずつ分析して意思決定を行うクロードよりも、私は依然としてはるかに速いです。リソースを大量に消費するだけでなく、非常に遅いです。さて、私が会社員で、複数のファイルのデータを 1 日を通して分析する必要がある場合は、状況が異なるかもしれません。それでも、その場合、Mac 上でクロードにごっこ遊びをさせるのではなく、Excel 内でクロードを使用するか、コーディング アプリを使用してデータを直接操作することになるかもしれません。
クロードでコンピュータの使用を有効にする方法
クレジット: Khamosh Pathak
この機能は macOS 上の Claude でのみ利用でき、Claude Pro (月額 20 ドル) および Claude Max (月額 100 ドル以上) の有料会員のみが利用できます。上で述べたように、これは Research Preview の段階にあるため、まだベータ版の機能です。そのため、デフォルトではすべてのユーザーに対して有効になっていません。
有効にするには、次の場所に移動します。 設定 > 一般的な > コンピュータの使用。ブラウザベースの自動化機能を有効にするには、ブラウザ使用機能を有効にします (これにより、Claude は最初に確認することなく Chrome で任意の Web サイトを開いて移動できるようになります)。ここにいる間に、拒否されたアプリのリストにアプリを追加して、クロードがアクセスできないようにすることができます。 1Password やバンキング アプリなどのアプリから始めるのが良いでしょう。このセクションから、アクセシビリティと画面録画へのアクセスを許可することもできます。
Computer Use は私が持っていない Mac mini 用に設計されています
この機能を数回使用しただけで、この機能が私のために作られたものではないことがわかりました。少なくとも、Mac miniを買うまでは。ブラウザ機能はバックグラウンドで実行してタスクを実行できるため、依然として便利です。しかし、クロードが Finder のどこをクリックするかを考えている間、ただ座っているのは私の忍耐の基準を超えています。
つまり、この機能は、OpenClaw を使用して Mac mini 上で AI エージェントを回転させ、24 時間 365 日オンラインでファイルを処理し、アクションを自動化することに興味がある人向けに設計されています (セキュリティの観点からは、悪いアイデアです)。
クロードの動作を携帯電話から制御できます。さらに良いことに、仕事で使用しているもう 1 台の Mac からも制御できます。セキュリティの観点から見ると、Claude が何をしているのかを正確に把握でき、いつでも停止したり引き継いだりできるため、これは OpenClaw よりも優れています。しかし、それは遅いです。