Anthropic は、Claude に Computer Use と呼ばれる新機能を導入しました。有効にすると、クロードがコンピュータを制御し、マウスを動かしたり、スクリーンショットを使用してクリックする場所を決定したりできるようになります。何ができるのか試してみました。
ChatGPT のように扱う場合、Claude の使い方が間違っています。
多くの人がクロードのために ChatGPT から逃げていますが、同じ間違いを犯しています。
クロードの使い方 コンピュータの使い方
Mac でクロードを解放する
Claude Computer Use で何ができるのかを確認したかったので、Claude デスクトップ アプリを実行している Mac でそれを有効にしました。現在、コンピューターの使用は依然として macOS でのみ利用可能ですが、Windows のサポートは予定されています。これは研究プレビュー段階にあり、Cowork および Claude Code の Pro および Max ユーザーが利用できます。
コンピュータの使用を有効にするのは簡単でしたが、典型的な方法でその方法をクロードに尋ねたところ、チャットボットはそれが可能だとは考えませんでした。この機能が存在することを認識する前に、それを調べるように指示する必要がありました。
に行きました 設定、選択済み 一般的な 下 デスクトップアプリ、切り替え コンピュータの使用 の上。次に、アクセシビリティと画面録画の権限を付与しました。クロードが核コードを保存しているアプリに侵入して人類を滅ぼすのではないかと心配な場合は、特定のアプリからのコンピューターの使用をブロックすることを選択できます。
自分のお金を信用しなかった
多くの人がコーディング タスクに Computer Use を使用していますが、私はより一般的なタスクでそれを試してみたかったのです。クロードが買い物を手伝ってくれるかどうか見てみることにした。
私はクロードに、ホーム アシスタント用のローカル音声アシスタントを構築するために必要なすべてのコンポーネントを見つけるために Amazon を検索するように頼みました。私は、選択した製品がプロジェクトに適しているかどうかを確認するために、レビュースコアを調べ、必要に応じてレビューをチェックするように依頼しました。私はクロードに、選択したすべての製品をバスケットに追加するように指示しましたが、クロードが突然テクノロジーに何千ドルも費やすことにした場合に備えて、Amazon アカウントにサインインしませんでした。
クロードはすぐに仕事に取り掛かった。 Amazon の Web サイトで読み取りと編集を行う許可を与えるように求められ、Amazon が Raspberry Pi を検索し始めるのをリアルタイムで観察しました。
Raspberry Pi は見つかりましたが、その後プロセスが停止され、基本的な USB マイクとスピーカーが必要か、それともより高性能な ReSpeaker HAT が必要かを尋ねられました。私が質問に答えると、クロードは続けて、私が自分で行うのとまったく同じように、適切なボタンをクリックして Raspberry Pi をバスケットに追加しました。
- ブランド
-
ラズベリーパイ
- CPU
-
Cortex-A72 (ARM v8)
Raspberry Pi 4 Model B を使用すると、あらゆる種類の楽しいプロジェクトを作成したり、家の周りのガジェットをアップグレードしたりできます。あるいは、完全なデスクトップ OS をインストールして、通常のコンピューターと同様に使用します。
コンピュータの使用は速くない
つまらない時計です
座って自分のコンピューターが自動的に動作するのを見て最大の気づきは、それが信じられないほど遅いということでした。これは、ロボットが本を手に取り、ページを一瞬めくって、最後まで読んでしまう SF のようなものではありません。プロセス全体は、手作業で行う場合よりもはるかに時間がかかりました。
ただし、実際に重要なのは速度ではありません。コンピューターを使用すると、仕事を引き継ぐことができるため、自分で行う必要がなくなり、別の作業に取りかかることができます。クロードが商品を見つけて、すべてをバスケットに追加するまでに 15 分ほどかかったと思います。
最終的な結果は非常に印象的でした。必要なものがすべてバスケットに追加され、選択肢を見てみると、すべて妥当なレビュー スコアがあり、目的に適していました。クロードは時折立ち止まって特定の点について確認を求めたが、質問の内容はすべて妥当なものだった。
もう 1 つの不満は、セッション中のツール呼び出し制限に達し続けたことです。クロードが続行するには[続行]ボタンをクリックするだけで済みましたが、これにより、これを開始して完了まで実行するために無人のままにしておくことができなくなり、はるかに便利になります。
正直に言うと、私自身でも同じ仕事をもっと早くできたはずです。クロードにいくつかの製品を見つけてバスケットに追加するように依頼できるのは本当に便利ですが、実際に購入ボタンをクリックさせるほど私はまだ信用していません。
クロードは反復的なタスクを処理できます
非常にゆっくりと行うだけです
次に試したのは、API や MCP を通じて直接制御できないアプリでした。 Draw Things アプリは、スタジオ ジブリ映画の中に自分を登場させたいときに、OpenAI に顔をアップロードすることなく、ローカルで画像を生成するために使用できる画像生成ツールです。
クロードを使用して、複雑なヨガのポーズと一致するまでプロンプトを反復処理できるかどうかを確認したいと思いました。私はクロードに、画像を生成し続け、一致するものが見つかるまでプロンプトを繰り返すように依頼しました。
最初の画像は正しいポーズと一致しなかったため、クロードは画像を改良するためにプロンプトを編集し続けました。生成 AI モデルの制限のため部分的には回転がかかりましたが、8 回の反復の後、正しいポーズを示す画像が生成されました。私一人で最終結果にたどり着くにはもっと時間がかかったでしょう。そのため、これはクロードの反復能力が真に役立つものです。
コンピューターの使用は始まりですが、完璧ではありません
これがAIの進む道のようだ
OpenClaw などのエージェント AI ツールが大きな注目を集めている時代に、コンピューターの使用が到来しました。 AI をエージェント目的で使用することが物事の方向に向かっているように見えますが、コンピューターの使用は確かにその方向への重要な一歩です。
ただし、完璧には程遠いです。このプロセスは非常に遅く、ロックしようとしても、予期せず個人情報が漏洩してしまう可能性があります。画像を生成する際、私が頼んでもいないのにクロードが画像をエクスポートしようとしたため、共有シート内の共通の連絡先の名前が公開されてしまいました。パスワードや銀行口座情報など、より機密性の高い情報を無意識のうちに公開してしまう可能性も不可能ではありません。
私はまだクロードを完全には信用していない
クロード コンピューターの使用法は、まだ初期段階にあるとはいえ、印象的です。 Anthropic がより良いガードレールを開発できることを願っていますが、現在の形態では、私はまだ Anthropic をコンピューターに対して自由にコントロールできるとは完全には信頼していません。 Chrome を開いて国防総省をハッキングし、審判の日をもたらすのではないかという予感が拭えません。