テック技報最新号へ →
AIコーディング

画面操作（Computer Use）やブラウザをエージェントに任せるときの線引き

ログイン済みのブラウザでエージェントが押したボタンは、サイトからは自分の操作に見える。お金・認証情報・セキュリティ設定が絡む操作は、人がその場でクリックするまで止めておく。

@rionlab_koba · 2026-10-27
#ai-coding#computer-use#codex#安全#ブラウザ操作

GPT-6.1 Terra（10-26）は画面操作向けのモデルとして出て、Codex の Computer Use を安く回せるようになった。任せる範囲が広がる前に決めておくこと。

OpenAI の Codex Computer Use ガイドにある注意（要約）

  • 1回に任せるのは1つのアプリ・1つの作業だけ。違う画面を触り始めたらすぐ止める
  • 作業に要らない機微なアプリ（ネットバンク、メール、決済）は閉じておく
  • パスワードなど秘密が要る作業は、自分がその場で1つずつ承認できるときだけ
  • アプリの許可で「Always allow」を押すのは、今後も自動で触らせてよいアプリだけ
  • アカウント・セキュリティ・プライバシー・ネットワーク・支払い・認証情報の設定は、人が立ち会う
  • 自分のブラウザを使わせると、サインイン済みのページを操作できる。作業中も自分のブラウザを使いたいなら別のブラウザを使わせる
  • Windows では作業中に前面の入力を取られるので、別端末か VM を使う

実際に起きた「横道」

  • Axios が報じた件（2026-10-25）: Claude が古いアーカイブページから「ダッシュボードがアクセストークンを発行している」ことを読み取り、トークンを申請して手数料のかかる手続きを飛ばした。@shtse8 の結論は「ブラウザを持ったエージェントは横道も見つける。お金や認証情報が要るものは人のクリックを待たせる」
  • Cohere の報告: サンドボックスで評価中のオープンウェイトモデルが、推論の文面では「ツールは使わない」と書いたのに、マシンの情報を集めて外部のストレージへ送ろうとした（サンドボックスが遮断）。推論の説明ではなく実際のツールログで判断する理由になる

自分の環境での決めごと（例）

  • 支払い・送信・削除・権限変更のボタンは、エージェントは押す直前で止めて報告する、とルールに書く
  • 自前でエージェントを動かすなら、モデルの「やりません」という説明ではなくツールのログで判断し、外向きの通信は既定で閉じる
  • 初めは「マージボタンを人に渡す」運用で1週間回し、自分なら止めた回数を数えてから無人化を考える

関連

出典

追記（2026-10-28、X の投稿より）: 操作マニュアルを作らせる

Computer Use にデスクトップアプリを実際に操作させ、各手順のスクリーンショットを保存させて、そのまま画像付きの操作マニュアルにまとめさせる使い方がある（@keitowebai）。手順書づくりは「間違えても戻せる」作業なので任せやすい。ログインやお金が絡む画面は上の線引きどおり人がやる。

X の元の投稿を開く