OpenAI のコンピューター使用機能は、コードを修正し始めるまではギミックのように聞こえました。

4 月に遡ると、OpenAI は Codex の機能として Computer Use をリリースしました。私はここ数か月間、かなり頻繁にそれを使用しましたが、実際には、思っていたよりもはるかに便利です。

AI はコーディングが得意ですが、Computer Use を使用すると、AI が作成したものを実際にテストできます

確かに、すべての反復をテストすることはできますが、AI にそれを実行させて、完了したときに通知するだけではどうでしょうか?

私は基本的に 2026 年中ずっと AI を使用してアプリと Web サイトを構築してきましたが、2025 年の終わりに少しだけそれを行いました。最初は、AI が開発した UI または UX のすべてのイテレーションをテストしていました。

私は、AI が構築するものはすべて、出荷前にチェックされるべきだと強く信じています。それについては疑問の余地はありません。ただし、各ステップを手作業でテストする必要はないと考えています。

たとえば、私は Codex を使用して旅行アプリの構築に取り組んでいます。デザインには複数のレイヤーがありますが、MCP (モデル コンテキスト プロトコル) リンク経由で Google Stitch を使用する Codex から始まります。それが完了すると、Codex はコンピューター上で iOS シミュレーターを起動し、実際にアプリ自体を使用します。

そこから、Codex は、チェックアウトの準備ができるまで、私の指示に従って UI/UX を改良します。これにより、「このテキストは境界ボックスからはみ出しています」または「このナビゲーション ボタンが正しい場所にないのはなぜですか」という大量のメッセージをスキップするのに役立ち、最終 (またはほぼ最終デザイン) のレビューの準備が整うまで待つことができます。

Codex に Computer Use を実行させて診断し、UI/UX を調整して以来、時間を大幅に節約できました。最終/ほぼ最終ステージにすぐにジャンプできるのは素晴らしいことですが、コンピューターの使用が利用できない場合は不可能でしょう。

複雑なオンライン フォームもコンピューターの使用で簡単に操作できます

一部の開発者フォームや Web サイトは初心者にとってナビゲートが困難です

私の旅行アプリについて言えば、アプリの機能の 1 つで、これまでアクセスしたことのない Apple Developer Web サイトのいくつかのセクションに移動する必要がありました。結局のところ、私は iOS でのモバイル アプリケーション開発の初心者です。

そのため、YouTube チュートリアルを見たり、何時間もドキュメントを読んで理解しようとしたりする代わりに、Codex は Computer Use を使用してそれを行うことができました。私はそこに座って、それが私のコンピュータを使って Apple Developer Web サイトにアクセスするのを眺め、必要に応じて介入しました。

何をしているかにもよりますが、コンピュータの使用は完全に 100% 手動で行われるわけではありませんが、座りながらコンピュータを使用する優れたリモート デスクトップ サポート技術のようなものです。正直言って、かなりすごかったです。

開発者側の問題で行き詰まったときはいつでも、仮想アシスタントの Codex でタグ付けできることを知っていると、本当に便利で安心です。 Codex が実在の人物ではないことはわかっていますが、本物の仮想アシスタントを雇うよりも安く、文句も言わず、頼んだことは実際にやってくれます。

Codex は、コンピューターの使用を使用してセルフホスト型アプリを正常にデバッグできました

文書化はここまでしかできません

しばらく前、私はセルフホスト型ソーシャル メディア スケジューラー プラットフォーム Postiz をホームラボで実行することに取り組んでいました。 Postiz を実行するのはそれほど難しくありませんでしたが、実際に動作させるのは面倒な作業であることがわかりました。

そこで、Codex に Computer Use を使用して Postiz 構成をチェックしてもらい、適切に設定されていることを確認しました。革新的ではありませんでしたが、とても素晴らしかったです。

Postiz には、私が遭遇した構成問題に対応するクリーンな API や MCP がないため、Computer Use を使用すると、Codex で私が見たものと同じ UI ダッシュボードを実際に表示し、トラブルシューティングに役立てることができました。

繰り返しますが、それはリモート デスクトップを使用するリモート サポート技術者に似ていましたが、それはまさにその瞬間に私が必要としていたものでした。

また、Notion を離れて Obsidian に移行したとき、Codex に Computer Use を使用して Notion のエクスポートを支援してもらいましたが、問題なく動作しました。

実際、自分のコンピュータを他の人に使用してもらう必要があるあらゆる分野で、Codex を使用すれば、誰かに電話したり、リモート デスクトップ ソフトウェアをインストールしたり、技術サポートに対応したりすることなく、同じタスクを実行できる可能性が高くなります。

コンピューターの使用は完璧な解決策ではありませんが、素晴らしい解決策です

コンピューターの使用は、まだ私が望むところにはなっていません。多くの場合、コンピューターを実際に制御して機能させる必要があるからです。これは、Codex が Apple Developer Web サイトにアクセスしている間、私はコンピューターを使って他のことを行うことができないことを意味します。それはもっぱらその任務に特化していました。

実際のところ、これが私がこれまでに見つけたコンピューター使用の唯一の欠点です。特定のプラットフォーム、アプリ、Web サイトを使用したコンピューターの使用などの特定のタスクでは、API を使用して制御できるため、すべてがバックグラウンドで実行されます。ただし、主に、コンピューターの使用はコンピューターを引き継ぎ、ユーザーに代わってマウスを動かし、入力します。